verl grpo 快速开始

1. 什么是verl

verl是字节开发的一个RL框架，是现在最主流的强化学习算法框架，没有之一。

2. 环境部署

作者在不拉docker镜像的前提下，尝试使用官方教程部署verl，部署后，代码跑不通。
上网查了很多资料后，作者自己摸索出了一套流程，可以成功部署环境，并且跑通代码。

• 前置条件：cuda>12.2

1. 下载git库

git clone https://github.com/volcengine/verl.git
cd verl

2. 使用uv创建虚拟环境（在<venv-path>中填入环境的存储地址）（这里python版本设为3.10或者3.12都可以）

uv venv <venv-path> --python=3.12
source <venv-path>/bin/activate

3. 安装v0.5.0版本的verl

# 进入verl文件夹中
cd verl
git checkout v0.5.0
uv pip install e .
uv pip install vllm==0.8.2
uv pip install tensordict==0.6.2
uv pip install "sglang[all]>=0.4.5.post3"
uv pip install torch==2.6.0 torchaudio==2.6.0  torchvision==0.21.0
uv pip install ray==2.44.0

下载flash-attn（点击链接即可下载）后，上传到服务器，然后安装

uv pip install flash_attn-2.6.3+cu123torch2.4cxx11abiFALSE-cp312-cp312-linux_x86_64.whl

3. GRPO 快速开始

1. 下载gsm8k数据集（在<data_dir>中填入数据集的醋出路径）

cd verl
source <venv-path>/bin/activate 
export HF_ENDPOINT=https://hf-mirror.com
python3 examples/data_preprocess/gsm8k.py --local_dir <data_dir>

2. 下载模型

huggingface-cli download Qwen/Qwen2.5-3B-Instruct --local-dir <qwen-model-path>

2. 传入wandb api-key

export WANDB_API_KEY=your_api_key_here

3. 开始训练
   1. 修改examples/grpo_trainer/run_qwen2_5-3b_gsm8k_grpo_lora.sh中的几个参数
      • data.train_files：训练集数据地址（<data_dir>/train.parquet）
      • data.val_files：测试集数据地址(<data_dir>/test.parquet)
      • actor_rollout_ref.model.path：模型地址(<qwen-model-path>)
      • actor_rollout_ref.rollout.tensor_model_parallel_size：如果是在单GPU上运行，需要改为1
      • trainer.n_gpus_per_node（根据自己的GPU数量设置）
   2. 运行脚本

      bash examples/grpo_trainer/run_qwen2_5-3b_gsm8k_grpo_lora.sh