Premiers principes
Les convictions fondamentales qui guident notre approche de l'Idea Security. Ce ne sont pas des slogans marketing, mais les contraintes et convictions qui façonnent chaque décision produit.
Ces principes, ainsi que les concepts d'Idea Security (appliqués aux systèmes d'IA), d'Idea Security et d'Idea Leakage, ont été développés par David Weidman, fondateur de SenTeGuard.
Intérêt décentralisé plutôt que dépendance vis-à-vis des plateformes
L'industrie de l'IA se consolide autour d'une poignée de fournisseurs de modèles fondateurs. OpenAI, Anthropic, Google et Meta contrôlent l'infrastructure qui alimente de plus en plus de processus d'entreprise critiques. Cette concentration engendre un risque systémique.
SenTeGuard adopte une position différente : nous pensons que les organisations doivent maîtriser leur destin en matière d'IA. Nos outils fonctionnent avec tous les fournisseurs. Nous vous aidons à élaborer des programmes de sécurité qui résistent aux changements de prestataires. Nous ne vous enfermons pas dans notre plateforme, nous vous fournissons des politiques portables et des données exportables.
Nous ne résolvons pas les problèmes d'OpenAI ou ceux d'Anthropic. Nous résolvons vos problèmes, qui persistent quel que soit le modèle que vous choisissez.
Travaux connexes : Joseki:WrapperHub regroupe des versions de prompts, d'évaluations et de spécifications de sécurité afin que les comportements restent portables d'un modèle à l'autre, parallèlement aux protections d'exécution fournies par SenTeGuard. Lire l'article de présentation →
Ce que cela implique en pratique
- SenTeGuard fonctionne avec n'importe quel fournisseur de LLM
- Les politiques sont indépendantes des fournisseurs et portables
- Nous encourageons les stratégies multi-fournisseurs
- Aucun verrouillage : exportez vos données et configurations à tout moment
- Nous prenons en charge les modèles auto-hébergés et open source
Le changement de paradigme
| Informatique binaire | Informatique sémantique |
|---|---|
| Mesure l'égalité | Mesure la proximité |
| Est-ce le mot de passe ? | Est-ce similaire à des secrets ? |
| Correspondance exacte de motifs | Inférence basée sur le sens |
| La DLP détecte « SSN: 123-45-6789 » | Le LLM déduit l'identité à partir du contexte |
Idea Security : la menace émergente
Le concept d'« Idea Security » et le terme « Idea Leakage » ont été créés par David Weidman, fondateur de SenTeGuard, pour décrire les menaces propres aux systèmes d'IA sémantiques. Ces concepts, ainsi que le cadre d'Idea Security pour les systèmes d'IA/LLM, constituent le fondement des pratiques modernes de sécurité de l'IA.
L'informatique binaire mesure l'égalité ; l'informatique sémantique mesure la proximité.
La sécurité traditionnelle demande : « Cette chaîne exacte est-elle un mot de passe ? Ce motif exact est-il un numéro de carte bancaire ? » Ce sont des contrôles d'égalité. Soit cela correspond, soit non.
Les systèmes d'IA fonctionnent sur la proximité. Ils ne vérifient pas si vous avez saisi le secret, ils comprennent si vous avez décrit le secret. Un employé peut expliquer votre stratégie tarifaire, votre feuille de route produit ou une analyse concurrentielle en langage naturel sans jamais saisir le document confidentiel.
C'est cela l'Idea Leakage, et elle est invisible pour les outils DLP traditionnels. La menace émergente n'est pas l'exfiltration de fichiers ; c'est l'exfiltration sémantique. Les organisations ont besoin de nouveaux outils capables de comprendre le sens, et pas seulement des motifs.
En savoir plus sur nos articles de blog sur les standards d'Idea Security.
Les défenseurs pensent en listes, les attaquants pensent en arbres
Les équipes de sécurité tiennent des listes : fournisseurs approuvés, IP bloquées, signatures de logiciels malveillants connus, exigences de conformité. Lorsqu'une menace ne figure pas sur la liste, elle passe au travers.
Les attaquants pensent en arbres. Ils explorent des chemins de décision : « Si ceci est bloqué, essayons cela. Si cela échoue, essayons autre chose. » Ils parcourent les espaces des possibles à la recherche du moindre chemin vers leur objectif.
L'asymétrie est structurelle. Les défenseurs énumèrent les menaces ; les attaquants les explorent. C'est pourquoi la sécurité basée sur les signatures est toujours en retard : vous ne pouvez ajouter un élément à la liste qu'après avoir observé l'attaque.
L'Idea Security exige de penser en arbre : comprendre les graphes d'attaque, anticiper la créativité de l'adversaire et fermer des branches entières d'attaque plutôt que des feuilles individuelles.
Inscrire la menace sur la liste
L'objectif de la sécurité proactive est de convertir les menaces inconnues en menaces connues, de transférer les éléments de l'arbre de l'attaquant vers la liste du défenseur avant qu'ils ne soient exploités.
Les produits clients sont MoyoMap, une carte évolutive de ce que sait l'IA, et Moyo Scan, un rapport de recherche ponctuel.
Le problème du partage
Tous les principaux fournisseurs de LLM enregistrent les interactions. Même avec des accords d'entreprise interdisant l'entraînement sur vos données, vos prompts existent sur leur infrastructure.
Les habilitations de sécurité existent parce que certaines informations nécessitent un cloisonnement. Les LLM, de par leur nature, résistent au cloisonnement.
Une fuite vers un LLM est une fuite vers tout le monde
La formulation est délibérément hyperbolique, mais le modèle mental est utile. Lorsqu'un employé colle des informations dans un LLM :
- Elles sont transmises sur le réseau
- Elles sont traitées par une infrastructure externe
- Elles peuvent être journalisées pour la détection des abus
- Elles pourraient être utilisées pour l'amélioration du modèle (selon les ToS)
- Elles existent en dehors de votre périmètre de sécurité
L'hypothèse opérationnelle devrait être : tout ce qui est envoyé à un LLM externe n'est plus confidentiel. Ce n'est pas de la paranoïa, c'est une modélisation réaliste des menaces à l'ère de l'IA.
SenTeGuard vous offre une visibilité sur ce qui est envoyé et un contrôle sur ce qui passe. Nous ne pouvons pas annuler l'envoi de données, mais nous pouvons empêcher leur départ dès l'origine.
En savoir plus sur les LLM ambiants et l'exposition des données dans notre article de blog sur les risques de l'IA ambiante.
Nous proposons une amélioration par rapport à zéro
Certains fournisseurs de sécurité positionnent leurs produits comme une assurance : « Achetez notre outil au cas où quelque chose de grave arriverait. » Cela crée un désalignement. Les produits d'assurance sont rentables lorsque les sinistres sont faibles. Les produits de sécurité devraient être évalués en fonction des menaces évitées, et non des risques transférés.
Sans contrôles de sécurité de l'IA, vous avez une visibilité nulle sur :
- Quelles données transitent par les LLM
- Quelles attaques sont tentées contre vos systèmes d'IA
- Quelles politiques sont enfreintes
- Ce qu'est réellement votre niveau d'exposition
La moindre visibilité est une amélioration infinie par rapport à l'absence de visibilité. Nous ne vendons pas une protection contre des risques hypothétiques. Nous vendons une visibilité et un contrôle concrets qui vous font actuellement défaut.
La proposition de valeur
La plupart des clients identifient leur première fuite de données sensibles bloquée dans les 72 heures suivant le déploiement.
Il ne s'agit pas d'une valeur théorique, c'est une protection immédiate et démontrable dont vous ne disposiez pas hier.
Les deux phases
Phase 1 : Construire l'outil
Des milliards investis dans les modèles de fondation, la puissance de calcul, la recherche. Nous y sommes actuellement.
Phase 2 : Trouver des usages pour l'outil
Intégration dans les processus métier, nouvelles applications, création de valeur. Cela arrive.
La révolution ne doit pas faire peur
Nous souhaitons accroître la compréhensibilité et la visibilité de la manière dont les capacités de l'IA évoluent et se développent au fil du temps. La peur de l'IA découle souvent de l'opacité : le fait de ne pas savoir ce que les systèmes peuvent faire, comment ils fonctionnent ou quels risques ils créent.
Notre position : l'adoption de l'IA est inévitable et bénéfique. La question n'est pas de savoir s'il faut utiliser ces outils, mais comment les utiliser en toute sécurité. Une bonne sécurité permet une adoption plus large, et non des restrictions. Les organisations qui maîtrisent le déploiement sécurisé de l'IA surpasseront celles qui évitent l'IA ou l'adoptent de manière imprudente.
Nous sommes actuellement dans la phase où l'on dépense de l'argent pour concevoir des outils d'IA. La prochaine vague consistera à trouver des usages pour ces outils : intégration dans les flux de travail, les processus métier et la prise de décision. SenTeGuard aide les organisations à réussir cette transition en toute sécurité.
Résumé : Nos convictions
-
01
Les intérêts décentralisés importent davantage que l'allégeance à une plateforme.
-
02
L'informatique sémantique exige une sécurité sémantique.
-
03
La défense proactive (approche arborescente) surpasse la défense réactive (simple liste de contrôle).
-
04
Les LLM externes doivent être traités comme des interfaces publiques.
-
05
La visibilité est la base ; le contrôle découle de la visibilité.
-
06
Une adoption sûre de l'IA l'emporte à la fois sur une adoption imprudente et sur le refus de l'utiliser.
Bâtissez sur ces principes
Si ces idées trouvent un écho chez vous, échangeons sur la façon de les appliquer au sein de votre organisation.