第一性原理
指导我们践行 Idea Security 的基本信念。这些并非营销口号,而是塑造每一个产品决策的约束与信念。
这些原则,连同 Idea Security(应用于 AI 系统时)以及 Idea Leakage 的概念,均由 SenTeGuard 创始人 David Weidman 提出。
去中心化利益优于平台依赖
AI 行业正向少数几家基础模型提供商集中。OpenAI、Anthropic、Google 和 Meta 控制着日益支撑关键业务流程的基础设施。这种高度集中带来了系统性风险。
SenTeGuard 采取了不同的立场:我们认为组织应当掌控自己的 AI 命运。我们的工具可跨提供商运作。我们帮助您构建能够经受供应商更迭考验的安全体系。我们不会将您锁定在我们的平台上,而是为您提供可移植的策略和可导出的数据。
我们不是在解决 OpenAI 的问题或 Anthropic 的问题。我们是在解决您的问题——无论您选择哪种模型,这些问题都会始终存在。
相关工作: Joseki:WrapperHub 将带版本控制的提示词、评估和安全规范打包,以便在模型之间保持行为的可移植性,并与 SenTeGuard 提供的运行时保护协同工作。阅读介绍博文 →
实践中的具体含义
- SenTeGuard 支持任何 LLM 提供商
- 策略独立于供应商且具备可移植性
- 我们鼓励多提供商策略
- 无锁定:随时导出您的数据和配置
- 我们支持自托管和开源模型
范式转变
| 二进制计算 | 语义计算 |
|---|---|
| 衡量等价性 | 衡量相似度 |
| 这是密码吗? | 这与机密信息相似吗? |
| 精确模式匹配 | 基于含义的推理 |
| DLP 捕获 "SSN: 123-45-6789" | LLM 从上下文中推断身份 |
Idea Security:新兴威胁
“Idea Security”的概念和“Idea Leakage”这一术语由 SenTeGuard 创始人 David Weidman 首创,用于描述语义 AI 系统特有的威胁。这些概念与针对 AI/LLM 系统的 Idea Security 框架一起,构成了现代 AI 安全实践的基石。
二进制计算衡量相等性;语义计算衡量相近性。
传统安全会问:“这个确切的字符串是密码吗?这个确切的模式是信用卡号吗?”这些都是相等性检查。要么匹配,要么不匹配。
AI 系统则基于相近性运行。它们不检查您是否输入了机密信息,而是理解您是否描述了该机密。员工可能会用自然语言解释您的定价策略、产品路线图或竞争分析,而无需输入机密文档本身。
这就是 Idea Leakage,它对传统 DLP 而言是不可见的。新出现的威胁不是文件外发;而是语义外发。组织需要能够理解含义而不仅仅是模式的新工具。
阅读更多内容,请访问我们的 Idea Security 标准博客文章。
防御者以列表思考,攻击者以树状思考
安全团队维护着各种列表:批准的供应商、阻止的 IP、已知的恶意软件特征码、合规性要求。当威胁不在列表上时,它就会溜进来。
攻击者则以树状结构思考。他们探索决策路径:“如果这里被阻断,就尝试那里。如果那里失败,就尝试别的方法。”他们遍历可能性空间,寻找通向目标的任何路径。
这种不对称性是结构性的。防御者枚举威胁;攻击者探索威胁。这就是为什么基于特征码的安全总是滞后的原因——您只能在看到攻击后才能将其添加到列表中。
Idea Security 需要树状思维:理解攻击图,预测对抗性创造力,并阻断整个攻击分支,而不仅仅是单个叶节点。
共享问题
每个主要的 LLM 提供商都会记录交互日志。即使企业协议禁止使用您的数据进行训练,您的提示词仍然存在于他们的基础设施上。
安全许可之所以存在,是因为某些信息需要进行区隔化管理。而 LLM 从本质上就抗拒这种区隔化。
泄露给 LLM 就是泄露给所有人
这虽然是有意夸大,但这种思维模型非常有用。当员工将信息粘贴到 LLM 中时:
- 它通过网络传输
- 它由外部基础设施处理
- 它可能会被记录以进行滥用检测
- 它可能被用于模型改进(取决于服务条款)
- 它存在于您的安全边界之外
操作假设应该是:发送给外部 LLM 的任何内容都不再保密。这不是偏执,而是 AI 时代切合实际的威胁建模。
SenTeGuard 让您能够洞察正在发送的内容,并控制哪些内容可以通过。我们无法撤回已发送的数据,但我们可以从一开始就防止它流出。
在我们的关于环境 AI 风险的博客文章中阅读更多关于环境 LLM 和数据暴露的内容。
我们正在带来从无到有的飞跃
一些安全厂商将自己的产品定位为保险:“购买我们的工具,以防不测发生。”这造成了定位上的错位。 保险产品在索赔较少时才能盈利。而衡量安全产品的标准,应该是防范了多少威胁,而不是转移了多少风险。
如果没有 AI 安全控制措施,您对以下情况的可见性将完全为零:
- 哪些数据流经了 LLM
- 针对您的 AI 系统发起了哪些攻击尝试
- 违反了哪些策略
- 您的实际风险敞口究竟有多大
任何程度的可见性,相较于完全没有,都是无限的提升。我们销售的不是防范虚构风险的虚无保护。我们提供的是您当前所缺乏的实际可见性与控制力。
价值主张
大多数客户在部署后 72 小时内,就能拦截并识别出第一起敏感数据泄露事件。
这绝非理论上的价值,而是您昨天尚不具备的即时、切实的防护能力。
两个阶段
第一阶段:打造工具
数十亿美元投入基础模型、算力和研究。我们目前正处于这一阶段。
第二阶段:探索工具的应用
融入业务流程、催生全新应用、创造商业价值。这一阶段即将到来。
无需畏惧变革
我们希望让大家更清晰、直观地了解 AI 能力如何随着时间推移不断演进与扩展。对 AI 的恐惧往往源于缺乏透明度——不知道这些系统能做什么、如何运作,亦或会带来哪些风险。
我们的立场是:采用 AI 是必然的,也是有益的。问题不在于是否使用这些工具,而在于如何安全地使用它们。优秀的安全性能够促进更广泛的应用,而非带来束缚。那些懂得如何安全部署 AI 的企业,必将胜过那些完全回避或盲目采用 AI 的竞争对手。
我们目前正处于斥资构建 AI 工具的阶段。下一波浪潮将是寻找这些工具的应用场景,将其融入工作流、业务流程和决策制定中。SenTeGuard 助力企业安全完成这一转型。
总结:我们的理念
-
01
去中心化的利益比单一平台的依附更为重要。
-
02
语义计算需要语义安全。
-
03
前瞻式主动防御(树状思维)优于应对式被动防御(清单核对)。
-
04
外部 LLM 应被视为公共接口。
-
05
可见性是基石;掌控力源于可见性。
-
06
安全地应用 AI 既优于盲目采用,也优于消极回避。
践行这些原则
如果这些理念能引起您的共鸣,让我们共同探讨如何在您的组织中付诸实践。