SenTeGuard logo
開始免費掃描
← 返回首頁

Idea Security Verification Framework

在 GitHub 上查看 →

isvf 是一個開放框架,用於定義、測試和審計啟用 LLM 的系統中的推論邊界:解決傳統安全工具無法衡量的語義洩漏、跨領域推論以及可達性風險。

開放草案,採用 CC BY 4.0 授權。歡迎社群審閱與貢獻。請參閱 CONTRIBUTING.md 獲取指引。

閱讀我們的介紹文章:Idea Security Standards Concept Draft →

核心概念

傳統安全會問:

誰可以存取哪個檔案?

isvf 則提出一個額外的問題:

當提示詞、檢索到的文件、工具、記憶和輸出結合為單一推論工作流程時,該系統可以得出什麼結論?

組織不再僅僅是試圖防止機密的直接洩漏。他們還必須管控 AI 系統可以得出什麼結論、這些系統可以結合哪些領域,以及哪些敏感意義可能會透過檢索、記憶、工具、提示詞和綜合分析而變得可觸及。

語義洩漏
即使原始機密文字未被洩露,透過意譯、翻譯、摘要、抽象化或推論來揭露受保護的含義。
跨領域推論
透過結合來自多個領域的片段來產生被禁止的結論,這些片段單獨允許但組合起來屬於敏感資訊。
可達性
AI 系統在規定的操作條件下能夠可靠產生的結論集合。
不可達陳述類別 (USCs)
政策要求系統不得使其可達的結論類別。
領域連接矩陣
記錄哪些資訊領域組合被允許、禁止或需要批准的結構化記錄。
證據包
可用於審計的成品,顯示概念邊界已被定義、強制執行、測試和監控。

建議指標

isvf 引入了供社群完善的驗證指標草案。這些指標均為暫定:特別歡迎對完善定義、測試協議和計分方法方面的貢獻。

Domain Inference Risk DIR
系統在定義的邊界條件下,僅使用領域內輸入推導出跨領域結論的頻率。測量跨領域推論洩漏的機率。
Leakage Event Rate LER
受保護資訊或受保護語意出現在輸出中的頻率,並按重大性進行加權。涵蓋直接揭露與語意釋義事件。
Crawl-Resilience Score CRS
系統隨時間抵禦重複或多會話提取嘗試的能力。測量構想邊界對抗反覆對抗性探測的持久性。

與現有框架的關係

isvf 並非旨在取代 OWASP、NIST、MITRE ATLAS 或其他 AI 安全措施。它是一個貢獻層,透過推論邊界建模來強化現有框架。

  • OWASP

    代碼庫中提供 LLM Top 10 對照表

  • NIST AI RMF

    將 isvf 控制措施對應至治理 (Govern)、映射 (Map)、測量 (Measure) 與管理 (Manage) 功能

  • MITRE ATLAS

    透過推論邊界攻擊模式擴展對抗性機器學習戰術

  • ISO / SOC 2

    證據包範本與審計和合規要求相契合

代碼庫結構

isvf/
  idea-security-verification-framework.md
glossary/
  glossary.md
controls/
  control-catalog.md
metrics/
  domain-inference-risk.md
  leakage-event-rate.md
  crawl-resilience-score.md
crosswalks/
  owasp.md  ·  nist-ai-rmf.md  ·  mitre-atlas.md
examples/
  domain-inventory-template.md
  join-matrix-template.md
  unreachable-statement-classes-template.md
  evidence-pack-template.md

如何貢獻

有價值的貢獻包括:

  • • 清晰度編修與新詞彙表術語
  • • 建議的控制措施和測試案例
  • • 特定行業的實施範例
  • • 法規對照表(ISO、SOC 2、CMMC 等)
  • • 指標完善與紅隊演練情境
  • • 對薄弱或不切實際假設的批判

提交 pull request 之前請先建立 issue。請參閱 CONTRIBUTING.md 以獲取完整指引。

查看框架

isvf 目前為 GitHub 上的早期公開草案。歡迎查閱該框架、提出 issue,並為 Idea Security 標準做出貢獻。

在 GitHub 上查看 →