RAGAS 评测分数不稳定？5 种方案抑制 LLM 裁判幻觉与波动
写在前面
很多同学刚上手 RAGAS 评测时都会遇到一个共性坑：同一条测试用例跑两次，分数浮动很大；甚至会出现反直觉的情况 —— 回答更完整、信息更全的答案，得分反而比简略答案更低。
这不是你的代码写错了，本质是LLM-as-a-Judge（大模型当裁判）范式的天然特性 + 部分指标的设计边界共同导致的。这篇笔记就拆解清楚波动的根源，以及从低成本到高成本的 5 种优化方案，按优先级排序，新手跟着做就能大幅提升评测结果的稳定性。
一、为什么会出现结果不稳定、反直觉？
我们以最容易出现波动的Answer Relevancy（答案相关性）指标为例，它的核心逻辑是：让 LLM 根据生成答案反向生成多个变体问题，再计算这些问题与原始问题的平均向量相似度。出现波动和反直觉结果，核心有两大原因：
1. 指标本身的设计边界：它只测 “切不切题”，不测 “完不完整”
这是最容易被误解的一点：
Answer Relevancy的核心定位是判断有没有答非所问，而不是判断回答是否完整全面。- 比如问题是 “法国在哪里？首都是什么？”，回答 “法国在西欧” 虽然信息不全，但完全没有偏离主题，它本身就能拿到很高的基础分。
- 再加上短文本的语义信息本身有限，“法国在西欧” 和 “法国在西欧，首都是巴黎” 在向量空间里的距离非常近，多出来的信息不足以把分数拉开明显差距。
📌重点提醒：不要用单一指标衡量所有质量维度。想测回答完整度，应该用Context Recall或Answer Correctness，而不是Answer Relevancy。
2. LLM 裁判的天然随机性与幻觉
LLM 本质是概率生成模型，作为裁判时自身就存在不确定性：
- 反向生成的变体问题每次都不完全一样，最终计算出的相似度自然会有波动；
- 极端情况下，裁判模型自身会出现判断偏差，也就是 “裁判也会产生幻觉”，导致打分违背常识；
- 模型版本越新、能力越强，不一定代表做裁判越稳定，比如实测中 qwen3.7-max 的打分一致性反而不如 qwen3.6-plus。
二、5 种优化方案（按性价比从高到低排序）
1. 扩大测试集规模，取整体均值（必做・零成本）
这是最基础、也是性价比最高的方案，没有之一。
原理：单条用例的波动是正常的随机误差，不具备统计意义。当测试集规模足够大、覆盖场景足够多时，整体平均分就能抹平单个极端 case 的干扰，真实反映系统的整体水平。
实操建议：
- 不要用单条、几条用例下结论，至少准备几十到上百条测试用例，覆盖简单、多上下文、推理等不同难度；
- 对比两个版本的优劣时，一定要在同一套完整测试集上跑，看整体指标的涨跌，不要揪着单条例子较真。
效果：能从统计层面解决绝大多数 “反直觉” 的个案问题，是所有评测的基础前提。
2. 调低生成随机性：固定 temperature + seed（必调・零成本）
针对 LLM 本身的随机性，这是零成本就能见效的参数优化，也是所有评测的标准操作。
- 原理：
temperature控制生成的随机性，设为 0 或接近 0 时，模型输出会尽可能确定；固定seed随机种子，可以保证相同输入下输出完全一致，实现结果可复现。 - 代码实现：
llm=llm_factory("qwen3.6-plus",client=openai_client,temperature=0,# 关闭随机性，输出更确定seed=42# 固定随机种子，结果可复现)- 效果：能大幅降低单次运行的分数波动，让评测结果可复现、可对比。实测调整后，同一条用例多次运行的分数差异会从 ±0.2 缩小到 ±0.03 以内。
3. 多次重复评估取平均值（有效・中等成本）
如果对稳定性要求很高，可以用 “多次测量取平均” 的思路抵消随机误差。
原理：单次评估的结果围绕真实值上下波动，多次评估取平均值后，随机误差会相互抵消，结果更接近真实水平。
实操建议：
- 普通场景：同一份测试集重复跑 3 次，取各项指标的平均值作为最终结果；
- 进阶方案：用多个不同的裁判模型分别打分，再取平均值或投票，进一步降低单个模型的偏好影响。
注意：该方案会让评测成本（Token 消耗、耗时）线性上升，适合最终验收、版本对比的关键阶段使用，日常调试不用每次都做。
4. 更换更稳定的评估模型（按需选择・有成本）
裁判模型本身的能力和稳定性，直接决定了打分的一致性。
选型经验：
- 通常参数量更大、训练更成熟的闭源模型，做裁判的一致性更好；
- 不是版本越新越好，建议先在小批量标注数据集上，对比不同模型的打分和人工判断的贴合度，选一致性最高的；
- 企业级场景中，通常会基于业务数据微调专门的裁判模型，让打分标准更贴合业务要求。
补充：如果是国内场景，优先选 qwen3.6-plus、DeepSeek 等对中文语义理解更准的模型，比盲目追最新版本效果更好。
5. 人工抽检兜底（最终防线・必不可少）
自动化评测永远是提效工具，不能 100% 替代人工判断。
核心作用：校准评测体系，避免被自动化指标误导。
实操方法：
- 定期抽取高分、低分、分数异常的 case 做人工复核；
- 当指标出现反直觉的大幅波动时，优先人工校验，判断是系统效果真的变了，还是裁判模型出现了误判；
- 核心业务场景的最终验收，必须有人工抽检环节。
三、避坑总结
先搞懂指标边界，再谈分数高低每个 RAGAS 指标都有自己的衡量范围，比如：
Answer Relevancy= 有没有答非所问Faithfulness= 有没有幻觉Context Recall= 关键信息有没有漏不要用一个指标去衡量所有维度的质量，否则很容易得出错误结论。
优化优先级：先做基础项，再谈高级优化扩大测试集 → 固定 temperature 和 seed → 多次评估取平均 → 更换模型 → 人工兜底前面两项是零成本必做，能解决 80% 的波动问题；后面的方案按需选用，不要上来就堆复杂方案。
正确看待自动化评测LLM-as-a-Judge 不是 “绝对真理”，它的作用是快速量化对比、辅助定位问题，帮你判断版本迭代是变好还是变差。不用追求每一分都绝对准确，只要整体趋势和人工判断一致，它就是合格的评测工具。