工作机制与关键组成
定义测试样例
准备有代表性的输入，并说明需要验证的预期行为。
运行对比
使用同一组测试数据评估候选提示词或模型服务商。
阻止回归
通过断言或 CI 检查发现功能退化和安全薄弱点。
如何选择
如果需要在开发流程或 CI 中运行测试样例并比较不同服务商，可以考虑 Promptfoo。
适合解决哪些问题
- 无需手动逐条重放样例，就能比较不同提示词版本。
- 上线前运行可重复的红队测试或回归测试集。
使用时要留意什么
- 测试集的价值取决于覆盖范围和断言是否合理。
- LLM 输出具有波动性，应设定容差并复核失败样例，不要把单次运行当作定论。
使用前，先弄清楚
如何用 Promptfoo 比较两版提示词？
让两版提示词使用相同测试输入、服务商配置和评分条件，比较关键行为是否改善，并逐条复核失败样例。应同时包含正常需求、边界输入和已知失败案例。模型输出有波动，单次得分差异不应直接作为上线结论。
放在一起理解
继续核对原始资料
概念说明参考项目文档与源码；场景选择和接入建议为 AI Manuals 的整理判断。版本、价格、许可及接口细节请以项目当前说明为准。