目录
- MLLU 综合知识评测
- HellaSwag详解：常识推理
- HumanEval详解：代码生成准确度评估
- GSM8K详解：数学推理
- TruthfulQA基准详解
- MT-Bench详解：对话能力
- 中文基准：C-Eval和SuperCLUE测试
- 评估的挑战：基准过拟合评估
MLLU 综合知识评测
测试57个学科的多项选择题
HellaSwag详解：常识推理
- HellaSwag基准基于真实场景的完形填空，测试常识推理能力。
- 2025年更新为HellaSwag 2.0，纳入更多文化多样性场景。
- GPT-5在HellaSwag上得分95.2%。
场景还原：超市购物判断。
想象你在超市购物，需要判断合理的下一步行动。
正确选项：将商品放入购物篮中
错误选项：将商品直接扔在地上
模型可能选择不合理选项，显示常识推理不足。
HumanEval详解：代码生成准确度评估
- 想象一下，你是一个程序员，需要快速编写代码来解决实际问题。HumanEval基准就像一个严格的编程考试，测试AI模型能否生成正确的代码。
- 是一个专门评估代码生成的基准测试工具
- is a benchmark specifically for evaluating code generation.
GSM8K详解：数学推理
- 2025年推出GSM8K-Plus：增加更难的数学问题
TruthfulQA基准详解
- TruthfulQA是一个问答任务，评估模型是否生成虚假信息。它测试AI是否能避免编造事实，提供真实答案。
MT-Bench详解：对话能力
- 它专门评估AI模型的多轮对话能力。上下文一致性的能力评测
- It specifically assesses the multi-round conversation ability of AI models.
- 评分维度：
- 有用性：回答是否解决问题
- 相关性：回答是否贴合问题
- 安全性：回答是否安全无害
中文基准：C-Eval和SuperCLUE测试
- SuperCLUE：聚焦多任务综合能力
评估的挑战：基准过拟合评估
- Arena Hard：对抗性问题
- Arena Hard引入了更具挑战性的问题，
- 防止模型只针对简单基准进行优化。遇到实际复杂问题搞不定
- 多任务示例：阅读理解+数学推理