工作机制与关键组成
接入记录
记录模型生成、工具调用、检索上下文和应用元数据。
定位问题
沿着追踪记录查看耗时、输入输出和各步骤的执行顺序。
验证改进
使用数据集和评测，对比提示词或应用改动前后的表现。
如何选择
如果需要集中查看 LLM 执行过程，并希望把生产追踪转化为测试用例，可以考虑 Langfuse。
适合解决哪些问题
- 排查依赖多轮提示词、检索或工具调用的回答问题。
- 随着提示词和模型参数变化，持续跟踪应用质量。
使用时要留意什么
- 追踪记录可能包含敏感输入和输出，应做好脱敏与保留期限管理。
- 只有在应用记录了有用上下文、评测也覆盖真实任务时，指标才有参考价值。
使用前，先弄清楚
Langfuse 能帮助区分哪些回答失败原因？
追踪记录可以把模型输入输出、工具调用、检索结果和耗时联系起来，便于判断问题发生在哪一步。若没有记录检索上下文或关键业务字段，仅有总耗时很难解释错误。先围绕真实失败样例补齐记录，再将其整理成评测集。
放在一起理解
继续核对原始资料
概念说明参考项目文档与源码；场景选择和接入建议为 AI Manuals 的整理判断。版本、价格、许可及接口细节请以项目当前说明为准。