工作机制与关键组成
整理任务集
收集真实用户目标、边缘情况、必须遵守的约束和已知失败案例。
衡量表现
评估任务结果，并检查运行轨迹、工具选择、耗时和成本。
变更后复测
对比新旧版本，排查回归问题后再向用户发布。
如何选择
先建立一组规模不大但能覆盖关键场景的评测任务，再根据稳定结果优化智能体，不要只凭几个演示判断。
适合解决哪些问题
- 用真实任务比较新提示词或模型的表现。
- 发现工具选择、安全边界或最终回答质量方面的退化。
使用时要留意什么
- 基准测试可能被“针对性优化”，也可能漏掉真实场景中的问题。
- 模型裁判本身会有偏差；应结合明确断言、人工复核和运行轨迹分析。
使用前，先弄清楚
Agent 评测为什么不能只看最后一段回答？
最终回答可能看起来正确，但中间仍可能调用错误工具、越过权限或消耗过多资源。评测应覆盖任务结果、工具调用、约束遵守、耗时和成本，并保留运行轨迹。对高影响行为，明确的程序断言和人工复核尤其重要。
放在一起理解
继续核对原始资料
概念说明参考项目文档与源码；场景选择和接入建议为 AI Manuals 的整理判断。版本、价格、许可及接口细节请以项目当前说明为准。
- 项目文档与说明developers.openai.com
- OpenAI 评测指南developers.openai.com