AI ManualsAI 技术开发者索引
编码与开发

Ragas

Ragas 为检索增强生成和智能体应用提供评测指标与方法,帮助区分检索质量和最终回答质量。

RAG 评测Agent 评测质量度量
开始阅读
把 RAG 的检索问题与回答问题分开评估
Ragas:把 RAG 的检索问题与回答问题分开评估Ragas 可利用问题、检索上下文与回答等数据衡量不同质量维度;参考答案是否需要取决于所用指标。用户问题评测样例的目标检索上下文本次取回的证据生成回答实际输出检索侧的质量相关资料是否被找回?取回的证据是否切题?回答侧的质量回答是否有证据支持?是否回应了用户的问题?

这里展示的是质量问题的拆分方式;指标需要哪些字段,应查阅对应版本的定义。

工作机制与关键组成

  1. 准备样例

    收集测试问题;条件允许时,为问题准备参考答案或支持证据。

  2. 分项评分

    分别评估检索相关性、上下文利用情况和回答特征。

  3. 复核样例

    人工查看失败案例,并据此调整数据、检索方式、提示词或指标。

如何选择

如果需要结构化的 RAG 评测结果,而不是只靠零散的提示词试验,可以了解 Ragas。

适合解决哪些问题

  • 使用稳定的问题集比较不同检索器或文本切分策略。
  • 随着应用改动持续跟踪 RAG 回答质量。

使用时要留意什么

  • 部分指标由 LLM 充当裁判,因此也会引入裁判模型的偏差和成本。
  • 自动化指标只是近似信号;应针对具体领域,用人工判断验证其有效性。

使用前,先弄清楚

Ragas 的指标应该怎样用于 RAG 改进?

把检索相关性、上下文利用和回答质量分开观察,再回到失败样例判断原因。自动评分可帮助筛选问题,但不能替代领域人工判断。比较切分或检索策略时,应尽量固定问题集和其他配置,避免把多项变化混在一起。

继续核对原始资料

概念说明参考项目文档与源码;场景选择和接入建议为 AI Manuals 的整理判断。版本、价格、许可及接口细节请以项目当前说明为准。