工作机制与关键组成
校验输入
检查请求范围、格式、滥用风险,以及当前请求是否允许处理。
约束操作
在应用代码中执行权限校验、速率限制、工具白名单和审批流程。
检查输出
展示或执行结果前,验证格式及与策略相关的内容。
如何选择
将防护机制视为纵深防御:权限使用确定性的规则校验,模型只辅助处理模糊判断。
适合解决哪些问题
- 防止助手调用超出用户权限范围的工具。
- 在无效结果进入下游业务系统之前将其拦截。
使用时要留意什么
- 分类器或基于模型的防护本身也可能判断错误或被绕过。
- 应组合多层控制,不能只靠提示词中的一句要求来执行安全策略。
使用前,先弄清楚
加了 AI Guardrails,是否可以取消工具权限检查?
不可以。内容分类或模型判断可能出错,权限、速率限制和高影响操作审批仍需在应用中强制执行。防护机制应分层设置,并通过实际攻击和失败样例验证。提示词里的限制要求本身不能承担完整的授权职责。
继续核对原始资料
概念说明参考项目文档与源码;场景选择和接入建议为 AI Manuals 的整理判断。版本、价格、许可及接口细节请以项目当前说明为准。
- 项目文档与说明owasp.org
- OpenAI 智能体安全指南developers.openai.com