AI ManualsAI 技术开发者索引
Agent 与工作流

AI Guardrails

AI Guardrails(防护机制)是在模型输入、输出和工具操作前后设置的检查,用应用规则和校验限制 AI 功能的行为范围。

安全护栏策略校验风险控制
开始阅读
在输入、输出和工具边界分别设检查
AI Guardrails:在输入、输出和工具边界分别设检查应用在输入进入模型前、模型输出被使用前以及工具执行前设置检查;任一检查未通过都可以拒绝或转人工。输入检查内容与范围模型 / 智能体推理与动作请求输出检查结构、内容与规则工具操作检查权限与参数执行工具获准操作拒绝 / 转人工未通过检查通过未通过不通过

防护是应用控制的一组检查;它们需要结合最小权限、审批和测试使用。

工作机制与关键组成

  1. 校验输入

    检查请求范围、格式、滥用风险,以及当前请求是否允许处理。

  2. 约束操作

    在应用代码中执行权限校验、速率限制、工具白名单和审批流程。

  3. 检查输出

    展示或执行结果前,验证格式及与策略相关的内容。

如何选择

将防护机制视为纵深防御:权限使用确定性的规则校验,模型只辅助处理模糊判断。

适合解决哪些问题

  • 防止助手调用超出用户权限范围的工具。
  • 在无效结果进入下游业务系统之前将其拦截。

使用时要留意什么

  • 分类器或基于模型的防护本身也可能判断错误或被绕过。
  • 应组合多层控制,不能只靠提示词中的一句要求来执行安全策略。

使用前,先弄清楚

加了 AI Guardrails,是否可以取消工具权限检查?

不可以。内容分类或模型判断可能出错,权限、速率限制和高影响操作审批仍需在应用中强制执行。防护机制应分层设置,并通过实际攻击和失败样例验证。提示词里的限制要求本身不能承担完整的授权职责。

继续核对原始资料

概念说明参考项目文档与源码;场景选择和接入建议为 AI Manuals 的整理判断。版本、价格、许可及接口细节请以项目当前说明为准。