安装
- 首先执行pip安装
- 再下载源代码
第一句是为了安装opencompass的依赖包，第二句是为了在当前目录引入本地目录的opencomass模块。
因为有很多修改的地方。
测评
-
VLLM
放弃吧，这个框架对VLLM的支持很差。 -
测评方式：稳定的有且只有这一种
python run.py \--datasets demo_gsm8k_chat_gen demo_math_chat_gen \--hf-type chat \--hf-path Qwen/Qwen2-0.5B-Instruct \--debug
你要在对应目录先下载好模型