Idea Security Verification Framework
在 GitHub 上查看 →isvf 是一個開放框架,用於定義、測試和審計啟用 LLM 的系統中的推論邊界:解決傳統安全工具無法衡量的語義洩漏、跨領域推論以及可達性風險。
開放草案,採用 CC BY 4.0 授權。歡迎社群審閱與貢獻。請參閱 CONTRIBUTING.md 獲取指引。
閱讀我們的介紹文章:Idea Security Standards Concept Draft →核心概念
傳統安全會問:
誰可以存取哪個檔案?
isvf 則提出一個額外的問題:
當提示詞、檢索到的文件、工具、記憶和輸出結合為單一推論工作流程時,該系統可以得出什麼結論?
組織不再僅僅是試圖防止機密的直接洩漏。他們還必須管控 AI 系統可以得出什麼結論、這些系統可以結合哪些領域,以及哪些敏感意義可能會透過檢索、記憶、工具、提示詞和綜合分析而變得可觸及。
- 語義洩漏
- 即使原始機密文字未被洩露,透過意譯、翻譯、摘要、抽象化或推論來揭露受保護的含義。
- 跨領域推論
- 透過結合來自多個領域的片段來產生被禁止的結論,這些片段單獨允許但組合起來屬於敏感資訊。
- 可達性
- AI 系統在規定的操作條件下能夠可靠產生的結論集合。
- 不可達陳述類別 (USCs)
- 政策要求系統不得使其可達的結論類別。
- 領域連接矩陣
- 記錄哪些資訊領域組合被允許、禁止或需要批准的結構化記錄。
- 證據包
- 可用於審計的成品,顯示概念邊界已被定義、強制執行、測試和監控。
建議指標
isvf 引入了供社群完善的驗證指標草案。這些指標均為暫定:特別歡迎對完善定義、測試協議和計分方法方面的貢獻。
- Domain Inference Risk DIR
- 系統在定義的邊界條件下,僅使用領域內輸入推導出跨領域結論的頻率。測量跨領域推論洩漏的機率。
- Leakage Event Rate LER
- 受保護資訊或受保護語意出現在輸出中的頻率,並按重大性進行加權。涵蓋直接揭露與語意釋義事件。
- Crawl-Resilience Score CRS
- 系統隨時間抵禦重複或多會話提取嘗試的能力。測量構想邊界對抗反覆對抗性探測的持久性。
與現有框架的關係
isvf 並非旨在取代 OWASP、NIST、MITRE ATLAS 或其他 AI 安全措施。它是一個貢獻層,透過推論邊界建模來強化現有框架。
-
OWASP
代碼庫中提供 LLM Top 10 對照表
-
NIST AI RMF
將 isvf 控制措施對應至治理 (Govern)、映射 (Map)、測量 (Measure) 與管理 (Manage) 功能
-
MITRE ATLAS
透過推論邊界攻擊模式擴展對抗性機器學習戰術
-
ISO / SOC 2
證據包範本與審計和合規要求相契合
代碼庫結構
isvf/
idea-security-verification-framework.md
glossary/
glossary.md
controls/
control-catalog.md
metrics/
domain-inference-risk.md
leakage-event-rate.md
crawl-resilience-score.md
crosswalks/
owasp.md · nist-ai-rmf.md · mitre-atlas.md
examples/
domain-inventory-template.md
join-matrix-template.md
unreachable-statement-classes-template.md
evidence-pack-template.md
如何貢獻
有價值的貢獻包括:
- • 清晰度編修與新詞彙表術語
- • 建議的控制措施和測試案例
- • 特定行業的實施範例
- • 法規對照表(ISO、SOC 2、CMMC 等)
- • 指標完善與紅隊演練情境
- • 對薄弱或不切實際假設的批判
提交 pull request 之前請先建立 issue。請參閱 CONTRIBUTING.md 以獲取完整指引。
SenTeGuard 的相關工作
查看框架
isvf 目前為 GitHub 上的早期公開草案。歡迎查閱該框架、提出 issue,並為 Idea Security 標準做出貢獻。