SenTeGuard logo
开始免费扫描

第一性原理

指导我们践行 Idea Security 的基本信念。这些并非营销口号,而是塑造每一个产品决策的约束与信念。

这些原则,连同 Idea Security(应用于 AI 系统时)以及 Idea Leakage 的概念,均由 SenTeGuard 创始人 David Weidman 提出。

去中心化利益优于平台依赖

AI 行业正向少数几家基础模型提供商集中。OpenAI、Anthropic、Google 和 Meta 控制着日益支撑关键业务流程的基础设施。这种高度集中带来了系统性风险。

SenTeGuard 采取了不同的立场:我们认为组织应当掌控自己的 AI 命运。我们的工具可跨提供商运作。我们帮助您构建能够经受供应商更迭考验的安全体系。我们不会将您锁定在我们的平台上,而是为您提供可移植的策略和可导出的数据。

我们不是在解决 OpenAI 的问题或 Anthropic 的问题。我们是在解决您的问题——无论您选择哪种模型,这些问题都会始终存在。

相关工作: Joseki:WrapperHub 将带版本控制的提示词、评估和安全规范打包,以便在模型之间保持行为的可移植性,并与 SenTeGuard 提供的运行时保护协同工作。阅读介绍博文 →

实践中的具体含义

  • SenTeGuard 支持任何 LLM 提供商
  • 策略独立于供应商且具备可移植性
  • 我们鼓励多提供商策略
  • 无锁定:随时导出您的数据和配置
  • 我们支持自托管和开源模型

范式转变

二进制计算 语义计算
衡量等价性 衡量相似度
这是密码吗? 这与机密信息相似吗?
精确模式匹配 基于含义的推理
DLP 捕获 "SSN: 123-45-6789" LLM 从上下文中推断身份

Idea Security:新兴威胁

“Idea Security”的概念和“Idea Leakage”这一术语由 SenTeGuard 创始人 David Weidman 首创,用于描述语义 AI 系统特有的威胁。这些概念与针对 AI/LLM 系统的 Idea Security 框架一起,构成了现代 AI 安全实践的基石。

二进制计算衡量相等性;语义计算衡量相近性。

传统安全会问:“这个确切的字符串是密码吗?这个确切的模式是信用卡号吗?”这些都是相等性检查。要么匹配,要么不匹配。

AI 系统则基于相近性运行。它们不检查您是否输入了机密信息,而是理解您是否描述了该机密。员工可能会用自然语言解释您的定价策略、产品路线图或竞争分析,而无需输入机密文档本身。

这就是 Idea Leakage,它对传统 DLP 而言是不可见的。新出现的威胁不是文件外发;而是语义外发。组织需要能够理解含义而不仅仅是模式的新工具。

阅读更多内容,请访问我们的 Idea Security 标准博客文章。

防御者以列表思考,攻击者以树状思考

安全团队维护着各种列表:批准的供应商、阻止的 IP、已知的恶意软件特征码、合规性要求。当威胁不在列表上时,它就会溜进来。

攻击者则以树状结构思考。他们探索决策路径:“如果这里被阻断,就尝试那里。如果那里失败,就尝试别的方法。”他们遍历可能性空间,寻找通向目标的任何路径。

这种不对称性是结构性的。防御者枚举威胁;攻击者探索威胁。这就是为什么基于特征码的安全总是滞后的原因——您只能在看到攻击后才能将其添加到列表中。

Idea Security 需要树状思维:理解攻击图,预测对抗性创造力,并阻断整个攻击分支,而不仅仅是单个叶节点。

将其列入清单

主动防御的目标是将未知威胁转化为已知威胁,在威胁被利用之前将其从攻击者的树中转移到防御者的列表中。

客户产品包括 MoyoMap(一份反映 AI 所知内容的动态地图)以及 Moyo Scan(单次研究报告)。

共享问题

每个主要的 LLM 提供商都会记录交互日志。即使企业协议禁止使用您的数据进行训练,您的提示词仍然存在于他们的基础设施上。

安全许可之所以存在,是因为某些信息需要进行区隔化管理。而 LLM 从本质上就抗拒这种区隔化。

泄露给 LLM 就是泄露给所有人

这虽然是有意夸大,但这种思维模型非常有用。当员工将信息粘贴到 LLM 中时:

  • 它通过网络传输
  • 它由外部基础设施处理
  • 它可能会被记录以进行滥用检测
  • 它可能被用于模型改进(取决于服务条款)
  • 它存在于您的安全边界之外

操作假设应该是:发送给外部 LLM 的任何内容都不再保密。这不是偏执,而是 AI 时代切合实际的威胁建模。

SenTeGuard 让您能够洞察正在发送的内容,并控制哪些内容可以通过。我们无法撤回已发送的数据,但我们可以从一开始就防止它流出。

在我们的关于环境 AI 风险的博客文章中阅读更多关于环境 LLM 和数据暴露的内容。

我们正在带来从无到有的飞跃

一些安全厂商将自己的产品定位为保险:“购买我们的工具,以防不测发生。”这造成了定位上的错位。 保险产品在索赔较少时才能盈利。而衡量安全产品的标准,应该是防范了多少威胁,而不是转移了多少风险。

如果没有 AI 安全控制措施,您对以下情况的可见性将完全为零:

  • 哪些数据流经了 LLM
  • 针对您的 AI 系统发起了哪些攻击尝试
  • 违反了哪些策略
  • 您的实际风险敞口究竟有多大

任何程度的可见性,相较于完全没有,都是无限的提升。我们销售的不是防范虚构风险的虚无保护。我们提供的是您当前所缺乏的实际可见性与控制力。

价值主张

大多数客户在部署后 72 小时内,就能拦截并识别出第一起敏感数据泄露事件。

这绝非理论上的价值,而是您昨天尚不具备的即时、切实的防护能力。

两个阶段

第一阶段:打造工具

数十亿美元投入基础模型、算力和研究。我们目前正处于这一阶段。

第二阶段:探索工具的应用

融入业务流程、催生全新应用、创造商业价值。这一阶段即将到来。

无需畏惧变革

我们希望让大家更清晰、直观地了解 AI 能力如何随着时间推移不断演进与扩展。对 AI 的恐惧往往源于缺乏透明度——不知道这些系统能做什么、如何运作,亦或会带来哪些风险。

我们的立场是:采用 AI 是必然的,也是有益的。问题不在于是否使用这些工具,而在于如何安全地使用它们。优秀的安全性能够促进更广泛的应用,而非带来束缚。那些懂得如何安全部署 AI 的企业,必将胜过那些完全回避或盲目采用 AI 的竞争对手。

我们目前正处于斥资构建 AI 工具的阶段。下一波浪潮将是寻找这些工具的应用场景,将其融入工作流、业务流程和决策制定中。SenTeGuard 助力企业安全完成这一转型。

总结:我们的理念

  1. 01

    去中心化的利益比单一平台的依附更为重要。

  2. 02

    语义计算需要语义安全。

  3. 03

    前瞻式主动防御(树状思维)优于应对式被动防御(清单核对)。

  4. 04

    外部 LLM 应被视为公共接口。

  5. 05

    可见性是基石;掌控力源于可见性。

  6. 06

    安全地应用 AI 既优于盲目采用,也优于消极回避。

践行这些原则

如果这些理念能引起您的共鸣,让我们共同探讨如何在您的组织中付诸实践。

与我们取得联系