Opencompass避坑日记

安装

1. 首先执行pip安装
2. 再下载源代码

第一句是为了安装opencompass的依赖包，第二句是为了在当前目录引入本地目录的opencomass模块。
因为有很多修改的地方。

测评

1. VLLM
   放弃吧，这个框架对VLLM的支持很差。

2. 测评方式：稳定的有且只有这一种

python run.py \--datasets demo_gsm8k_chat_gen demo_math_chat_gen \--hf-type chat \--hf-path Qwen/Qwen2-0.5B-Instruct \--debug

你要在对应目录先下载好模型