Idea Security Verification Framework
Ver en GitHub →isvf es un marco abierto para definir, probar y auditar los límites de inferencia en sistemas habilitados para LLM: abordando la fuga semántica, la inferencia entre dominios y los riesgos de alcanzabilidad que las herramientas de seguridad tradicionales no miden.
Borrador abierto, bajo licencia CC BY 4.0. La revisión y las contribuciones de la comunidad son bienvenidas. Consulte CONTRIBUTING.md para ver las directrices.
Lea nuestra publicación introductoria: Idea Security Standards Concept Draft →La Idea Central
La seguridad tradicional pregunta:
¿Quién puede acceder a qué archivo?
isvf plantea una pregunta adicional:
¿Qué conclusiones puede derivar este sistema una vez que los prompts, los documentos recuperados, las herramientas, la memoria y las salidas se combinan en un único flujo de trabajo inferencial?
Las organizaciones ya no solo intentan prevenir la divulgación directa de secretos. También deben controlar qué conclusiones pueden derivar los sistemas de IA, qué dominios pueden combinar dichos sistemas y qué significados sensibles pueden volverse alcanzables mediante la recuperación, la memoria, las herramientas, los prompts y la síntesis.
- Semantic Leakage
- Divulgación de significado protegido mediante paráfrasis, traducción, resumen, abstracción o inferencia, incluso cuando el texto secreto original no se expone.
- Cross-Domain Inference
- Producción de una conclusión prohibida combinando fragmentos de múltiples dominios que son permitidos individualmente pero sensibles en conjunto.
- Reachability
- El conjunto de conclusiones que un sistema de IA puede producir de manera confiable bajo condiciones operativas definidas.
- Unreachable Statement Classes (USCs)
- Categorías de conclusiones que la política exige que el sistema no haga alcanzables.
- Domain Join Matrix
- Un registro estructurado de qué combinaciones de dominios de información están permitidas, prohibidas o sujetas a aprobación.
- Evidence Packs
- Artefactos listos para auditoría que demuestran que los límites de ideas están definidos, aplicados, probados y monitoreados.
Métricas propuestas
isvf introduce métricas de verificación preliminares para el perfeccionamiento por parte de la comunidad. Son provisionales: se agradecen especialmente las contribuciones que mejoren las definiciones, los protocolos de prueba y los métodos de puntuación.
- Domain Inference Risk DIR
- Con qué frecuencia un sistema deriva una conclusión fuera de dominio utilizando únicamente entradas dentro del dominio bajo condiciones límite definidas. Mide la probabilidad de filtración por inferencia entre dominios.
- Leakage Event Rate LER
- Con qué frecuencia la información protegida o el significado protegido aparecen en los resultados, ponderado por su materialidad. Captura tanto eventos de divulgación directa como de paráfrasis semántica.
- Crawl-Resilience Score CRS
- Qué tan bien resiste un sistema a los intentos de extracción repetidos o multisesión a lo largo del tiempo. Mide la durabilidad de los límites de las ideas frente al sondeo adversarial iterativo.
Relación con marcos existentes
isvf no pretende sustituir a OWASP, NIST, MITRE ATLAS u otros esfuerzos de seguridad en IA. Es una capa de contribución que refuerza los marcos existentes con el modelado de límites de inferencia.
-
OWASP
Correspondencia con LLM Top 10 disponible en el repositorio
-
NIST AI RMF
Mapea los controles de isvf a las funciones Govern, Map, Measure y Manage
-
MITRE ATLAS
Amplía las tácticas de ML adversario con patrones de ataque a los límites de inferencia
-
ISO / SOC 2
Las plantillas de paquetes de evidencias se alinean con los requisitos de auditoría y cumplimiento
Estructura del repositorio
isvf/
idea-security-verification-framework.md
glossary/
glossary.md
controls/
control-catalog.md
metrics/
domain-inference-risk.md
leakage-event-rate.md
crawl-resilience-score.md
crosswalks/
owasp.md · nist-ai-rmf.md · mitre-atlas.md
examples/
domain-inventory-template.md
join-matrix-template.md
unreachable-statement-classes-template.md
evidence-pack-template.mdCómo contribuir
Las contribuciones útiles incluyen:
- • Ediciones de claridad y nuevos términos del glosario
- • Propuestas de controles y casos de prueba
- • Ejemplos de implementación específicos por sector
- • Correspondencias normativas (ISO, SOC 2, CMMC, etc.)
- • Perfeccionamiento de métricas y escenarios de red team
- • Críticas sobre suposiciones débiles o poco realistas
Abra una incidencia antes de enviar una pull request. Consulte CONTRIBUTING.md para ver las directrices completas.
Trabajo relacionado de SenTeGuard
Ver el marco
isvf es un borrador público preliminar en GitHub. Revise el marco, abra incidencias y contribuya al estándar de idea security.