数据集选择
想要微调模型，首先就需要有合适的数据。本次微调模型的目标是训练出一个适合本地部署的翻译模型，因此我选用这个数据集：
WMT-Chinese-to-English-Machine-Translation-Training-Corpus
但是因为使用的微调工具是 LLaMA-Factory，它只支持 Alpaca 和 sharegpt 格式的训练集，因此我们还需要对原始数据集进行加工，将其转换为 Alpaca 格式。
数据集格式转换
Alpaca 格式
Alpaca 格式主要包含三个核心字段：
{"Instruction": "将以下内容翻译为中文","input": "The weather is very nice today","output": "今天的天气非常好"
}
- instruction：明确的任务指令（必须存在）
- input：任务输入内容（可以为空）
- output：期望的输出结果（必须存在）
使用 python 脚本转换数据格式
WMT 中英机器翻译训练集为 CSV 格式，由两列构成，第一列为中文，第二列为英文。
使用下面的 python 脚本可以将 CSV 格式转换为 Alpaca 格式：
import pandas as pd
import json# === 输入与输出路径 ===
input_csv = "path/to/your/train.csv" # 你的原始 CSV 文件
output_json = "wmt_zh_en_alpaca.json" # 输出的 Alpaca 格式 JSON 文件# === 读取 CSV 文件 ===
df = pd.read_csv(input_csv)# 检查列名
if not {'zh', 'en'}.issubset(df.columns):raise ValueError("CSV 文件应包含列名 'zh' 和 'en'")data = []# === 方向：英文 -> 中文 ===
for _, row in df.iterrows():zh, en = row['zh'], row['en']if isinstance(zh, str) and isinstance(en, str):data.append({"instruction": "Translate the following English sentence into Chinese","input": en.strip(),"output": zh.strip()})# === 保存为 JSON 格式 ===
with open(output_json, "w", encoding="utf-8") as f:
json.dump(data, f, ensure_ascii=False, indent=2)print(f"✅ 转换完成，共 {len(data)} 条样本，已保存为：{output_json}")
因为我的目标是让这个模型能够将英文翻译为中文，因此脚本中调整了中英文本顺序。
最后会输出一个 .json 文件，这个文件将会在后面作为数据集使用。
使用 LLaMA-Factory 进行模型微调
下载 LLaMA-Factory
这里有两种方式下载并使用 LLaMA-Factory：
从源码安装
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" --no-build-isolation
使用 Docker 安装
docker run -it --rm --gpus=all --ipc=host hiyouga/llamafactory:latest
不了解 Docker 的直接从源码安装就行。
添加数据集
将上面生成的 .json 文件复制到 data 文件夹中并编辑 data/dataset.json，在其中添加这几行：
"wmt_zh_en_alpaca": {"file_name": "wmt_zh_en_alpaca.json"},
下载模型权重
想要微调某个模型，就需要该模型的权重，本次微调以Qwen3:0.6B模型为基础模型：
modelscope download --model Qwen/Qwen3-0.6B --local_dir ./Qwen3-0.6B
配置训练脚本
编辑 examples/train_lora/qwen3-0.6b-lora-sft.yaml 文件
### model
model_name_or_path: ./Qwen3-0.6B
trust_remote_code: true### method
stage: sft
do_train: true
finetuning_type: lora
deepspeed: ds_z3_config.json # choices: [ds_z0_config.json, ds_z1_config.json, ds_z2_config.json, ds_z3_config.json]### dataset
dataset: wmt_zh_en_alpaca
template: qwen
cutoff_len: 2048
#### 这里只选了1000个样本，可以根据需要适当调整
max_samples: 1000
overwrite_cache: true
preprocessing_num_workers: 4
dataloader_num_workers: 2### output
output_dir: saves/qwen3-0.6b/lora/sft
logging_steps: 1
save_steps: 1500
plot_loss: true
overwrite_output_dir: true
save_only_model: false
report_to: tensorboard # choices: [none, wandb, tensorboard, swanlab, mlflow]
logging_dir: saves/qwen3-0.6b/lora/sft/tensorboard-log### train
per_device_train_batch_size: 1
gradient_accumulation_steps: 4
learning_rate: 1.0e-5
#### 可以修改下面的数字改变训练轮数
num_train_epochs: 1.0
lr_scheduler_type: cosine
warmup_ratio: 0.1#bf16: true
fp16: true
ddp_timeout: 180000000
resume_from_checkpoint: null#gradient_checkpointing: true
use_unsloth_gc: true
模型微调训练
使用下面的命令进行模型训练：
nohup llamafactory-cli train examples/train_lora/qwen3-0.6b-lora-sft.yaml > train_lora_sft_qwen3-0.6B.log &
使用下面的命令实时监控训练过程：
tail -f train_lora_sft_qwen3-0.6B.log