Idea Security Verification Framework
Voir sur GitHub →isvf est un cadre ouvert pour définir, tester et auditer les limites d'inférence dans les systèmes utilisant des LLM : traiter les fuites sémantiques, l'inférence inter-domaines et les risques d'accessibilité que les outils de sécurité traditionnels ne mesurent pas.
Projet ouvert, sous licence CC BY 4.0. Les examens et contributions de la communauté sont les bienvenus. Consultez CONTRIBUTING.md pour les directives.
Lire notre article d'introduction : Ébauche du concept de normes Idea Security →L'idée fondamentale
La sécurité traditionnelle demande :
Qui peut accéder à quel fichier ?
isvf pose une question supplémentaire :
Quelles conclusions ce système peut-il déduire une fois que les invites, les documents récupérés, les outils, la mémoire et les résultats sont combinés en un seul flux de travail inférentiel ?
Les organisations ne cherchent plus seulement à empêcher la divulgation directe de secrets. Elles doivent également régir les conclusions que les systèmes d'IA peuvent déduire, les domaines que ces systèmes peuvent combiner et les significations sensibles qui peuvent devenir accessibles par le biais de la récupération, de la mémoire, des outils, des invites et de la synthèse.
- Fuite sémantique
- Divulgation d'une signification protégée par paraphrase, traduction, résumé, abstraction ou inférence, même lorsque le texte secret original n'est pas exposé.
- Inférence inter-domaines
- Production d'une conclusion interdite en combinant des fragments issus de plusieurs domaines qui sont individuellement autorisés mais conjointement sensibles.
- Accessibilité
- L'ensemble des conclusions qu'un système d'IA peut produire de manière fiable dans des conditions d'exploitation définies.
- Classes d'énoncés inaccessibles (USC)
- Catégories de conclusions que la politique exige que le système ne rende pas accessibles.
- Matrice de jonction de domaines
- Un registre structuré indiquant quelles combinaisons de domaines d'information sont autorisées, interdites ou soumises à approbation.
- Packs de preuves
- Artefacts prêts pour l'audit montrant que les limites des idées sont définies, appliquées, testées et surveillées.
Métriques proposées
isvf introduit des métriques de vérification préliminaires pour affinement par la communauté. Celles-ci sont provisoires : les contributions visant à affiner les définitions, les protocoles de test et les méthodes d'évaluation sont particulièrement bienvenues.
- Domain Inference Risk DIR
- Fréquence à laquelle un système déduit une conclusion hors domaine en utilisant uniquement des entrées dans le domaine selon des conditions aux limites définies. Mesure la probabilité de fuite d'inférence inter-domaines.
- Leakage Event Rate LER
- Fréquence à laquelle des informations protégées ou une signification protégée apparaissent dans les sorties, pondérée par l'importance relative. Prend en compte à la fois la divulgation directe et les événements de paraphrase sémantique.
- Crawl-Resilience Score CRS
- Capacité d'un système à résister à des tentatives d'extraction répétées ou multi-sessions au fil du temps. Mesure la durabilité des frontières d'idées face aux sondages contradictoires itératifs.
Relation avec les cadres existants
isvf n'a pas vocation à remplacer OWASP, NIST, MITRE ATLAS ou d'autres initiatives de sécurité de l'IA. Il s'agit d'une couche contributive qui renforce les cadres existants grâce à la modélisation des limites d'inférence.
-
OWASP
Tableau de correspondance LLM Top 10 disponible dans le dépôt
-
NIST AI RMF
Mappe les contrôles isvf sur les fonctions Govern, Map, Measure et Manage
-
MITRE ATLAS
Étend les tactiques de ML contradictoire avec des modèles d'attaque sur les limites d'inférence
-
ISO / SOC 2
Les modèles de dossiers de preuves s'alignent sur les exigences d'audit et de conformité
Structure du dépôt
isvf/
idea-security-verification-framework.md
glossary/
glossary.md
controls/
control-catalog.md
metrics/
domain-inference-risk.md
leakage-event-rate.md
crawl-resilience-score.md
crosswalks/
owasp.md · nist-ai-rmf.md · mitre-atlas.md
examples/
domain-inventory-template.md
join-matrix-template.md
unreachable-statement-classes-template.md
evidence-pack-template.mdComment contribuer
Les contributions utiles incluent :
- • Modifications de clarification et nouveaux termes du glossaire
- • Propositions de contrôles et cas de test
- • Exemples d'implémentation spécifiques à un secteur
- • Correspondances réglementaires (ISO, SOC 2, CMMC, etc.)
- • Affinements de métriques et scénarios d'équipe rouge (red-team)
- • Critiques d'hypothèses fragiles ou irréalistes
Ouvrez une issue avant de soumettre une pull request. Consultez CONTRIBUTING.md pour les directives complètes.
Travaux connexes de SenTeGuard
Consulter le cadre
isvf est une version préliminaire publique sur GitHub. Examinez le cadre, ouvrez des issues et contribuez au standard d'idée sécurité.