GenAI

AI 助手中的提示词注入与数据泄露:靠服务商的防护、护栏产品,还是自建控制

什么是提示词注入,隐藏在网页、邮件或文档中的指令如何让 AI 助手泄露数据,以及为什么没有任何过滤器能拦住所有攻击。文章比较了 Microsoft、Amazon 和 Google 的防护、独立的护栏产品和开源框架,以及内置于你自己应用中的控制,并给出公开的价格、上线前应做的测试和应当提出的问题。

作者:amBrain阅读需 11 分钟

本文内容

提示词注入是这样一种攻击:AI 助手执行了攻击者放进它所读文本里的指令。这些文本可能来自用户,也可能来自助手处理的网页、邮件、工单或文档。如果助手同时还能访问私有数据并向外发送内容,一次成功的注入就可能变成数据泄露。防御有三道:模型或云服务商提供的防护,独立的护栏产品或开源框架,以及内置于你自己应用中的控制。前两者能降低攻击得手的几率,只有第三者才能为损害划出硬性界限,所以单靠一种是不够的。

简短的回答是:先开启服务商的注入检查,并确认它们读取哪些输入,因为文档和工具结果常常不在检查范围内。如果你运行多个模型或多朵云,或者需要一套策略、一份日志,就再加一个独立的护栏产品或框架。无论哪种情况,都要把自己的控制构建进应用。给助手最小的访问权限,只让数据流向列入清单的地方,并由人批准发送、付款或删除。

什么是提示词注入,间接注入又是如何触及助手的?

开放全球应用安全项目(Open Worldwide Application Security Project,OWASP)是一家非营利的安全基金会。在其 2025 年基于大语言模型(LLM)所建应用的十大风险(Top 10)中,提示词注入排在第一位。直接注入是用户自己输入指令,例如告诉客服机器人忽略它的规则。间接注入则是指令藏在内容里送达:“当 LLM 接受来自网站或文件等外部来源的输入时,就会发生间接提示词注入。”

攻击者无需接触你的系统。Microsoft 安全响应中心给出了两个例子:发给受害者的一封邮件,以及一份共享文档。其中的指令“可能对用户隐藏,例如使用白底白字或不可打印的 Unicode 字符”。

为什么成功的注入会变成数据泄露?

泄露需要三个条件同时具备。Meta 的“Agents Rule of Two”(“双条件规则”)部分受 Simon Willison 的“致命三要素”启发,指出了这三个条件:

  • 助手会处理不可信的输入,例如收到的邮件或网页。
  • 它能接触敏感系统或私有数据。
  • 它能修改记录或向外发送数据。

Meta 表示,一个助手在同一次会话中最多只应具备其中两项。当任务在同一次会话中需要三项齐备时,助手“不应被允许自主运行,至少需要有人监督”。

没有邮件工具,数据照样可以外泄。Microsoft 描述过这样一种情形:模型写出一个图片链接,网址中带着被窃取的数据。用户的浏览器加载这张图片,数据便在“无需任何用户交互”的情况下发给了攻击者。可点击的链接一经点击,同样会泄露数据;而能向公开位置写入内容的工具,则可以直接泄露。

美国国家漏洞数据库记录了 Microsoft 365 Copilot 中的一个注入漏洞,它“允许未经授权的攻击者通过网络披露信息”。Microsoft 将其严重程度评为 9.3 分(满分 10 分)。写在模型指令,也就是系统提示词中的规则,并不能可靠地阻止这类泄露。OWASP 关于敏感信息披露的条目指出,这些规则“不一定总会被遵守,可能被提示词注入或其他方法绕过。”

为什么没有任何过滤器能拦住所有注入?

英国国家网络安全中心(National Cyber Security Centre,NCSC)解释了原因:“当前的大语言模型(LLM)根本无法在提示词内部对指令和数据实施安全边界。”SQL 注入是一种更早出现的数据库攻击,办法是绝不把输入当作命令。语言模型做不到这一点,所以 NCSC 的结论是,提示词注入“将始终是一种残余风险,无法靠某个产品或设备完全消除”。

模型提供方也认同这一点。Meta 称提示词注入是“所有 LLM 中一个根本性的、尚未解决的弱点”。Anthropic 用内部的自适应攻击者测试了其 Chrome 浏览器扩展,每个测试环境进行 100 次尝试。在采用 Anthropic 改进后防护措施的 Claude Opus 4.5 上,攻击者仍有约 1% 的攻击得手。Anthropic 表示,这一水平“仍然代表着不容忽视的风险”。

检测模型,也就是分类器,从已见过的攻击中学习。Meta 表示,其 Prompt Guard 2 分类器针对的是“明确的、已知的攻击模式”,并在局限中列出了“易受自适应攻击”。NCSC 向采购方建议:“对任何声称能‘阻止’提示词注入的产品都要警惕,应转而看那些懂得如何降低风险的厂商。”

你的模型或云服务商提供的防护涵盖哪些内容?

Microsoft、Amazon 和 Google 都出售与模型并行运行的注入检查服务。

Microsoft 的 Prompt Shields 是 Azure AI Content Safety 的一部分,可检测“User prompt attacks”和“Document attacks”。Microsoft 把后者定义为“嵌入文档内容(文档、邮件、网页)中的隐藏指令”。在 Microsoft 面向模型和智能体的 Foundry 平台中,“文档攻击检测默认关闭”。通过应用程序编程接口(API)调用该服务时,“API 本身不会拦截或转发内容”,因此要由你的代码根据结果来处理。它的检测模型“主要在英文内容上训练和评估”。Microsoft 的价目表现在把该服务称为 Content Safety in Foundry Control Plane,列有每月 5,000 条文本记录的免费档。标准档在大多数地区按每 1,000 条文本记录 0.375 美元收费,每条记录最多 1,000 个字符。

Amazon Bedrock Guardrails 把其提示攻击过滤器要拦截的注入定义为“旨在忽略并覆盖开发者所设指令的用户提示词”。使用 Bedrock 的 InvokeModel 调用时,必须给用户输入打上标签:“如果没有标签,这些用例的提示攻击将不会被过滤。”Amazon 还补充说:“提示攻击过滤器不会评估工具结果。”内容过滤器(含提示攻击检查)按每 1,000 个文本单元 0.15 美元计费,每个文本单元最多 1,000 个字符。单独通过另一项操作做提示攻击检查,则为 0.08 美元。拦截或屏蔽个人数据的过滤器为 0.10 美元。

Google Cloud 的 Model Armor 会对提示词、响应和上传的文档进行筛查,查找注入、敏感数据和恶意链接,适用于部署在“Google Cloud 或其他云服务商”上的 AI。它“把每条提示词和每个响应都作为单轮请求独立检查”,不会查看更早的消息。它还“不会解码或检查编码内容,例如以 Base64 编码的提示词”,Base64 是一种用字母、数字和少量符号来表示数据的常见方式。Model Armor 每月前 200 万个 token 免费,此后每增加 100 万个 token 收费 0.10 美元,约每 4 个字符算一个 token。

服务商也会训练自己的模型来抵御注入。Google 表示,对抗训练“显著增强了我们在 Gemini 2.5 模型中对间接提示词注入攻击的防御”。开源的 OpenAI Guardrails 库仍处于预览阶段,其中的注入检查会查找“不一致的工具调用和工具输出”。

独立的护栏产品或开源框架还能增加什么?

可以在应用与它调用的每个模型之间设一个独立的护栏层,让一套规则、一份日志覆盖所有模型。

NVIDIA 的 NeMo Guardrails 是开源的,采用 Apache 2.0 许可证。它对用户输入、检索到的文档片段、工具调用和输出运行检查,并把这些检查称为 rails。检索 rail“可以拒绝某个片段,使其不被用来向 LLM 发出提示”。Meta 的 Llama Prompt Guard 2 是一个小型分类器,可以在你自己的服务器上运行。它每次读取 512 个 token,因此长文档必须先拆分。两者都可免费下载,成本在于服务器、增加的延迟,以及负责调优的工程师。

有几款商业产品已经易主。Check Point 已完成对 Lakera 的收购,并以 AI Agent Security 的名称销售其运行时保护。Palo Alto Networks 收购了 Protect AI,用于其 Prisma AIRS 平台;F5 收购了 CalypsoAI,并销售 F5 AI Guardrails。这些数据都是它们自己的说法。Check Point 称 Lakera“检测率高于 98%,延迟低于 50 毫秒,误报率低于 0.5%”。为写这篇文章而查阅的产品页面,没有一个标出价格。它们提供演示,Lakera 则可以免费开始使用。

哪些控制必须由你自己构建到应用中?

这些控制并不试图识别攻击,而是限制被骗的助手能接触什么、能做什么。Microsoft 的指南以“假定间接提示词注入一定会发生”为出发点。OWASP 指出,授权检查等关键控制“绝不能委托给 LLM”。

  • 只给助手完成任务所需的工具和权限,并且不超出已登录用户自己的权限。OWASP 关于过度代理的条目描述了一个邮件摘要工具,它“可能只需要读取邮件的能力”。
  • 把不可信内容与指令分开。只要任务允许,就在读取任何不可信文本之前,先规划好每一次工具调用。这就是“先规划后执行”模式,是包括 Microsoft 在内的多家公司和研究机构的研究人员在一篇论文中提出的六种模式之一。这样一来,注入“就无法迫使 LLM 执行不在既定计划内的工具”。不过,它仍然可能改变已规划的调用所发送的内容,例如一封邮件的正文。
  • 只允许数据流向列入清单的地方:获批的邮件域名、获批的网址(URL),以及来自你自己域名的图片或链接。Google 表示,Gemini 的输出过滤器会“识别外部图片 URL,并且不予渲染”。
  • 凡是发送、付款、删除或修改记录的操作,都应在审批人看到真实的收件人和内容之后,由人来批准。Microsoft 表示,在 Outlook 的 Copilot 中,“用户必须明确批准生成的文本,并自行发送邮件。”Meta 则警告说,存在“用户不加思考就确认警告弹窗”的风险。
  • 不要把机密和访问规则放进系统提示词,OWASP 指出,系统提示词“不应被视为机密,也不应被用作安全控制”。
  • 正如 NCSC 所建议的,记录“LLM 的完整输入和输出,以及工具使用情况”。同时限制助手每小时或每天可执行的操作数量。

这些控制是有代价的。CaMeL 是 Google 和 ETH Zurich 的研究人员提出的一种设计,它把用户的请求与不可信数据分开。在 AgentDojo 智能体测试中,它“在可证明安全的前提下”完成了 77% 的任务,而无防护的系统为 84%。

三道防线各适合什么情形,为什么要组合使用?

  • 当助手运行在单一的云或模型服务商上时,服务商的防护适合作为第一层。每次检查成本很低,也不需要新签合同。
  • 护栏产品或框架适合这些情形:使用多个模型或多朵云,或者安全团队希望只用一套策略、一份日志。开源工具也可以在你自己的服务器上筛查文本。
  • 自建控制属于每一次部署。当助手同时具备 Meta 所说的全部三个条件时,没有这些控制,任何分类器都无法把风险降到足够低。

Microsoft 自己的指南也说“没有任何单一方案是足够的”,并把检测与确定性控制配合使用,确定性控制的行为始终如一。NCSC 补充说:“如果系统的安全性无法容忍剩余风险,它可能就不适合用 LLM 来做。”

按上述标价,检查 100 万条、每条 1,000 个字符的文本,在 Azure 标准档约需 375 美元。在 Bedrock 上,使用内容过滤器需 150 美元,单独使用提示攻击检查需 80 美元。Model Armor 在免费额度之后约收 25 美元。各家检查的内容不同,所以这些数字只能作粗略参考。Microsoft 提醒说,这类检查“有时可能会拦截正当操作,影响用户体验”。

上线前应该测试什么?

OWASP 建议在测试时“把模型当作不可信的用户”。请用你自己的内容、工具和权限,对整个助手进行测试:

  • 在每一种输入中埋入指令:聊天、上传的文件、检索到的文档、收到的邮件、网页和工具结果。要包括隐藏文本,以及你的客户使用的每一种语言。
  • 试试编码文本、拆分在多个文件中的指令,以及指令远离开头的长文档。
  • 埋入一个测试用的机密,试着通过图片链接、可点击链接、外发邮件、网络请求和共享系统把它取出来。
  • 以某一个客户的身份登录,试着读取另一个客户的数据。
  • 在真实流量上衡量误报,即被标为攻击的无害消息。Google 建议先以“Inspect only”模式启动 Model Armor,该模式只记录日志,不进行拦截。

开源扫描工具可以让其中一部分工作自动化。NVIDIA 的 garak 会探测“数据泄露、提示词注入”及其他故障。Microsoft 的 PyRIT 结合了“自动扫描、自适应多轮攻击和人工主导的测试”。Promptfoo 表示它“现已成为 OpenAI 的一部分”,并仍保持开源。它通过命令行运行红队测试,即模拟攻击。每次更换模型、提示词或工具之后,都要重复这些测试。

如果助手泄露了个人数据,会怎么样?

根据欧盟《通用数据保护条例》(General Data Protection Regulation,GDPR),通过助手发生的泄露可能构成个人数据泄露事件。原文第 4 条将其定义为“导致个人数据被意外或非法销毁、丢失、篡改、未经授权披露或访问的安全漏洞”。第 33 条要求控制者“在知悉后不得无故拖延,并在可行的情况下,最迟于知悉后 72 小时内”通知监管机构。例外情形是,该泄露事件不太可能对个人的权利和自由造成风险。你的日志会显示什么数据在何时流出。

应该向供应商或开发公司问什么?

  • 你们的检查读取哪些输入:用户消息、文档、邮件、工具结果?哪些检查默认是关闭的?
  • 这项检查是直接拦截,还是要由我们的代码根据它的结论来处理?它宕机时会发生什么?
  • 你们的检测率和误报率数据是在哪些攻击、语言和流量上测得的?你们会在我们的内容上做测试吗?
  • 你们的文本在哪里被筛查,存储哪些内容,存多久?
  • 每项检查会增加多少延迟?
  • 助手可以调用哪些工具,使用谁的权限,又能把数据发到哪里?
  • 哪些操作需要审批,审批人能看到什么?
  • 如果由你们为我们开发,代码、测试和日志归谁所有?哪些部分是你们的可复用组件?

amBrain 在其中处于什么位置?

amBrain 运营这个博客。谈到自己的产品,它是这样说的:“我们自己的产品 aigo 由 AI 智能体运行,它们依托同一份共享的公司事实记忆来研究、撰写、检查和衡量。凡是对外发布的内容,都由人批准。”谈到使用语言模型的客户项目,它是这样说的:“我们曾在客户的金融科技环境内,将一项 LLM 集成投入生产:从非结构化的经纪商和交易场所通知中提取并规范化公司行动、品种和保证金变更等信息,生成交易系统所用的结构化记录。”

用它自己的话说:“amBrain 自 2019 年起一直在开发软件。”谈到与客户的合作方式,它是这样说的:“三种形式:全程交付、专属团队,或工程师嵌入您的团队。”关于所有权,它的说法是:“客户拥有产品和代码的全部所有权,我们的可复用组件除外。”签约之前,请要求对方按名称列出这些组件。

这里引用的 amBrain 的表述,没有一句涉及提示词注入防御,也没有一句说 amBrain 为客户构建护栏或智能体,或审查客户的安全。

本文不是案例研究,除上面引用的那条金融科技表述外,没有描述任何客户项目,而那条表述并未说明该项目是如何确保安全的。其余引文均来自上述机构、公司和项目的公开页面、arXiv 上的研究论文、美国国家漏洞数据库 和 legislation.gov.uk,查阅日期为2026年11月13日。本文不声称 amBrain 与其中任何一方存在关系,不推荐它们的任何产品,也不给出 amBrain 的价格或时间表。

它同样不是法律意见。数据保护法如何适用于你的助手、你的泄露应对预案须涵盖哪些内容,请咨询律师。如果 amBrain 在你的候选名单上,请像对待其他任何公司一样,向它提出同样的问题。

主题

  • 提示词注入
  • AI 安全
  • 护栏
  • 自建还是购买

要把语言模型投入生产?

发来你的设计或你要解决的问题,以及你已有的数字。

介绍一下你的项目

我们会在24小时内给出明确的行动计划。

手头有类似的设计?

我们会在24小时内给出明确的行动计划。

免费项目介绍通话 · 30 分钟