工作机制与关键组成
准备样例
收集测试问题;条件允许时,为问题准备参考答案或支持证据。
分项评分
分别评估检索相关性、上下文利用情况和回答特征。
复核样例
人工查看失败案例,并据此调整数据、检索方式、提示词或指标。
如何选择
如果需要结构化的 RAG 评测结果,而不是只靠零散的提示词试验,可以了解 Ragas。
适合解决哪些问题
- 使用稳定的问题集比较不同检索器或文本切分策略。
- 随着应用改动持续跟踪 RAG 回答质量。
使用时要留意什么
- 部分指标由 LLM 充当裁判,因此也会引入裁判模型的偏差和成本。
- 自动化指标只是近似信号;应针对具体领域,用人工判断验证其有效性。
使用前,先弄清楚
Ragas 的指标应该怎样用于 RAG 改进?
把检索相关性、上下文利用和回答质量分开观察,再回到失败样例判断原因。自动评分可帮助筛选问题,但不能替代领域人工判断。比较切分或检索策略时,应尽量固定问题集和其他配置,避免把多项变化混在一起。
继续核对原始资料
概念说明参考项目文档与源码;场景选择和接入建议为 AI Manuals 的整理判断。版本、价格、许可及接口细节请以项目当前说明为准。