Idea Security Verification Framework
GitHub에서 보기 →isvf는 LLM 지원 시스템에서 추론 경계를 정의, 테스트 및 감사하기 위한 오픈 프레임워크입니다. 기존 보안 도구가 측정하지 못하는 시맨틱 유출, 크로스 도메인 추론 및 도달 가능성 위험을 해결합니다.
CC BY 4.0 라이선스가 적용된 오픈 초안입니다. 커뮤니티의 검토와 기여를 환영합니다. 가이드라인은 CONTRIBUTING.md를 참조하세요.
소개 게시글 읽기: Idea Security 표준 개념 초안 →핵심 개념
전통적인 보안은 다음과 같이 묻습니다:
누가 어떤 파일에 접근할 수 있는가?
isvf는 추가적인 질문을 던집니다:
프롬프트, 검색된 문서, 도구, 메모리 및 출력이 하나의 추론 워크플로로 결합되었을 때, 이 시스템은 어떤 결론을 도출할 수 있는가?
조직은 이제 단순히 비밀의 직접적인 유출만을 방지하는 데 그치지 않습니다. AI 시스템이 어떤 결론을 도출할 수 있는지, 해당 시스템이 어떤 도메인을 결합할 수 있는지, 그리고 검색, 메모리, 도구, 프롬프트 및 종합 과정을 통해 어떤 민감한 의미에 도달할 수 있는지를 통제해야 합니다.
- 시맨틱 유출 (Semantic Leakage)
- 원래의 기밀 텍스트가 직접 노출되지 않더라도 의역, 번역, 요약, 추상화 또는 추론을 통해 보호된 의미가 드러나는 현상입니다.
- 크로스 도메인 추론 (Cross-Domain Inference)
- 개별적으로는 허용되지만 결합 시 민감한 여러 도메인의 파편들을 조합하여 금지된 결론을 도출해 내는 현상입니다.
- 도달 가능성 (Reachability)
- 정의된 운영 조건 하에서 AI 시스템이 안정적으로 도출할 수 있는 결론의 집합입니다.
- 도달 불가능 진술 클래스 (USCs)
- 정책상 시스템이 도달 가능하도록 만들어서는 안 되는 결론의 범주입니다.
- 도메인 조인 매트릭스 (Domain Join Matrix)
- 어떤 정보 도메인 조합이 허용, 금지 또는 승인이 필요한지 체계적으로 기록한 명세입니다.
- 증거 팩 (Evidence Packs)
- 아이디어 경계가 정의, 시행, 테스트 및 모니터링되고 있음을 보여주는 감사 준비 완료된 산출물입니다.
제안된 지표
isvf는 커뮤니티의 개선 작업을 위한 초안 검증 지표를 제시합니다. 이는 잠정적인 지표이며, 정의, 테스트 프로토콜, 점수 산정 방식을 개선하는 기여를 특별히 환영합니다.
- Domain Inference Risk DIR
- 시스템이 정의된 경계 조건 하에서 도메인 내부 입력만을 사용하여 도메인 외부 결론을 얼마나 자주 도출하는지 측정합니다. 크로스 도메인 추론 유출의 확률을 측정합니다.
- Leakage Event Rate LER
- 중요도에 따라 가중치를 부여하여, 보호된 정보나 보호된 의미가 출력에 얼마나 자주 나타나는지 측정합니다. 직접적인 공개와 의미적 패러프레이징 이벤트를 모두 포착합니다.
- Crawl-Resilience Score CRS
- 시스템이 시간이 지남에 따라 반복되거나 다중 세션에 걸친 추출 시도에 얼마나 잘 저항하는지 측정합니다. 반복적인 적대적 탐색에 대한 아이디어 경계의 내구성을 측정합니다.
기존 프레임워크와의 관계
isvf는 OWASP, NIST, MITRE ATLAS 또는 기타 AI 보안 노력을 대체하기 위한 것이 아닙니다. 추론 경계 모델링을 통해 기존 프레임워크를 강화하는 기여 레이어입니다.
-
OWASP
저장소에서 LLM Top 10 비교 분석 제공
-
NIST AI RMF
isvf 통제 항목을 Govern, Map, Measure 및 Manage 기능에 매핑
-
MITRE ATLAS
추론 경계 공격 패턴으로 적대적 ML 전술 확장
-
ISO / SOC 2
감사 및 규정 준수 요구사항에 맞춘 증거 팩 템플릿
저장소 구조
isvf/
idea-security-verification-framework.md
glossary/
glossary.md
controls/
control-catalog.md
metrics/
domain-inference-risk.md
leakage-event-rate.md
crawl-resilience-score.md
crosswalks/
owasp.md · nist-ai-rmf.md · mitre-atlas.md
examples/
domain-inventory-template.md
join-matrix-template.md
unreachable-statement-classes-template.md
evidence-pack-template.md기여 방법
유용한 기여 분야:
- • 명확성을 위한 수정 및 새로운 용어집 용어
- • 제안된 통제 항목 및 테스트 케이스
- • 분야별 구현 사례
- • 규제 비교 분석 (ISO, SOC 2, CMMC 등)
- • 지표 개선 및 레드팀 시나리오
- • 취약하거나 비현실적인 가정에 대한 비판적 검토
Pull Request를 제출하기 전에 Issue를 먼저 열어주세요. 전체 가이드라인은 CONTRIBUTING.md를 참조하세요.
SenTeGuard의 관련 작업
프레임워크 보기
isvf는 GitHub에서 공개된 초기 초안입니다. 프레임워크를 검토하고, 이슈를 등록하며, 아이디어 보안 표준에 기여해 보세요.