工作机制与关键组成
识别不可信来源
将用户输入、检索文档、网页内容和工具返回值都视为不可信数据。
限制模型权限
避免把密钥放入模型上下文,并在提示词之外强制执行工具权限。
测试攻击路径
结合实际工具和数据边界,评估直接与间接提示注入场景。
如何选择
只要不可信内容可能影响一个能够访问工具、密钥或外部操作的模型,就应优先评估这类风险。
适合解决哪些问题
- 为会浏览网页或读取第三方文档的智能体进行威胁建模。
- 检查检索内容是否可能诱导智能体调用高权限工具。
使用时要留意什么
- 不存在一句通用提示词,可以彻底消除提示注入风险。
- 安全应依靠系统架构、最小权限、审批节点和监控共同保障。
使用前,先弄清楚
为什么检索到的文档也可能带来提示注入?
文档或网页可以包含伪装成系统要求的文字,诱导模型泄露数据或调用工具。检索相关性不代表内容可信。应用应保留数据与指令的边界,并通过最小权限、工具校验和人工确认限制可能造成的影响。
继续核对原始资料
概念说明参考项目文档与源码;场景选择和接入建议为 AI Manuals 的整理判断。版本、价格、许可及接口细节请以项目当前说明为准。
- 项目文档与说明cheatsheetseries.owasp.org
- Anthropic:缓解越狱攻击www.anthropic.com