Idea Security Verification Framework
Auf GitHub ansehen →isvf ist ein offenes Framework zum Definieren, Testen und Auditieren von Inferenzgrenzen in LLM-gestützten Systemen: Es adressiert semantischen Abfluss, domänenübergreifende Inferenzen und die Risiken der Erreichbarkeit, die herkömmliche Sicherheitstools nicht erfassen.
Offener Entwurf, lizenziert unter CC BY 4.0. Community-Reviews und Beiträge sind willkommen. Siehe CONTRIBUTING.md für Richtlinien.
Lesen Sie unseren Einführungsbeitrag: Idea Security Standards Concept Draft →Die Kernidee
Traditionelle Sicherheit fragt:
Wer kann auf welche Datei zugreifen?
isvf stellt eine zusätzliche Frage:
Welche Schlussfolgerungen kann dieses System ableiten, sobald Prompts, abgerufene Dokumente, Tools, Gedächtnis und Ausgaben in einem einzigen inferentiellen Workflow kombiniert werden?
Unternehmen versuchen nicht mehr nur, die direkte Offenlegung von Geheimnissen zu verhindern. Sie müssen auch steuern, welche Schlussfolgerungen KI-Systeme ableiten können, welche Domänen diese Systeme kombinieren dürfen und welche sensiblen Bedeutungen durch Retrieval, Gedächtnis, Tools, Prompts und Synthese erreichbar werden können.
- Semantischer Abfluss
- Offenlegung geschützter Bedeutungen durch Paraphrasierung, Übersetzung, Zusammenfassung, Abstraktion oder Inferenz, selbst wenn der ursprüngliche geheime Text nicht offengelegt wird.
- Domänenübergreifende Inferenz
- Erzeugung einer unzulässigen Schlussfolgerung durch die Kombination von Fragmenten aus mehreren Domänen, die einzeln zulässig, aber zusammen sensibel sind.
- Erreichbarkeit
- Die Gesamtheit der Schlussfolgerungen, die ein KI-System unter definierten Betriebsbedingungen zuverlässig erzeugen kann.
- Unerreichbare Aussageklassen (USCs)
- Kategorien von Schlussfolgerungen, von denen Richtlinien verlangen, dass das System sie nicht erreichbar macht.
- Domänen-Verknüpfungsmatrix
- Ein strukturierter Datensatz darüber, welche Kombinationen von Informationsdomänen zulässig, unzulässig oder genehmigungspflichtig sind.
- Evidence Packs
- Audit-fähige Artefakte, die belegen, dass Ideengrenzen definiert, durchgesetzt, getestet und überwacht werden.
Vorgeschlagene Metriken
isvf führt Entwürfe für Verifizierungsmetriken zur Verfeinerung durch die Community ein. Diese sind vorläufig: Beiträge, die Definitionen, Testprotokolle und Bewertungsmethoden präzisieren, sind besonders willkommen.
- Domain Inference Risk DIR
- Wie oft ein System unter definierten Randbedingungen ausschließlich anhand domäneninterner Eingaben eine domänenexterne Schlussfolgerung ableitet. Misst die Wahrscheinlichkeit einer domänenübergreifenden Inferenz-Leakage.
- Leakage Event Rate LER
- Wie oft geschützte Informationen oder geschützte Bedeutungen in Ausgaben auftauchen, gewichtet nach Wesentlichkeit. Erfasst sowohl direkte Offenlegungen als auch semantische Paraphrasierungsereignisse.
- Crawl-Resilience Score CRS
- Wie gut ein System wiederholten oder sitzungsübergreifenden Extraktionsversuchen über längere Zeit standhält. Misst die Beständigkeit von Ideengrenzen gegenüber iterativen Angriffstests.
Beziehung zu bestehenden Frameworks
isvf soll OWASP, NIST, MITRE ATLAS oder andere KI-Sicherheitsinitiativen nicht ersetzen. Es ist eine ergänzende Ebene, die bestehende Frameworks um die Modellierung von Inferenzgrenzen verstärkt.
-
OWASP
LLM Top 10-Zuordnung im Repository verfügbar
-
NIST AI RMF
Ordet isvf-Kontrollen den Funktionen Govern, Map, Measure und Manage zu
-
MITRE ATLAS
Erweitert offensive ML-Taktiken um Angriffsmuster auf Inferenzgrenzen
-
ISO / SOC 2
Nachweisvorlagen sind an Audit- und Compliance-Anforderungen ausgerichtet
Repository-Struktur
isvf/
idea-security-verification-framework.md
glossary/
glossary.md
controls/
control-catalog.md
metrics/
domain-inference-risk.md
leakage-event-rate.md
crawl-resilience-score.md
crosswalks/
owasp.md · nist-ai-rmf.md · mitre-atlas.md
examples/
domain-inventory-template.md
join-matrix-template.md
unreachable-statement-classes-template.md
evidence-pack-template.mdWie Sie mitwirken können
Sinnvolle Beiträge umfassen:
- • Klarheitskorrekturen und neue Glossarbegriffe
- • Vorgeschlagene Sicherheitskontrollen und Testfälle
- • Branchenspezifische Implementierungsbeispiele
- • Regulatorische Abgleiche (ISO, SOC 2, CMMC usw.)
- • Verfeinerungen von Metriken und Red-Team-Szenarien
- • Kritische Prüfungen schwacher oder unrealistischer Annahmen
Eröffnen Sie ein Issue, bevor Sie einen Pull Request einreichen. Vollständige Richtlinien finden Sie in der CONTRIBUTING.md.
Verwandte Arbeiten von SenTeGuard
Framework ansehen
isvf ist ein früher öffentlicher Entwurf auf GitHub. Prüfen Sie das Framework, erstellen Sie Issues und tragen Sie zum Standard für Idea Security bei.