10个技巧：在昇腾NPU上优化Qwen3-Coder-30B-A3B-Instruct推理性能

10个技巧：在昇腾NPU上优化Qwen3-Coder-30B-A3B-Instruct推理性能

【免费下载链接】Qwen3-Coder-30B-A3B-Instruct项目地址: https://ai.gitcode.com/hf_mirrors/MindSpeed/Qwen3-Coder-30B-A3B-Instruct

Qwen3-Coder-30B-A3B-Instruct是阿里云发布的大型语言模型，MindSpeed-LLM作为昇腾AI生态的重要技术支撑，能为其在昇腾NPU上的高效推理提供有力支持。本文将分享10个实用技巧，帮助你在昇腾NPU上显著优化Qwen3-Coder-30B-A3B-Instruct的推理性能。

一、保障基础环境配置

1.1 满足硬件要求

Qwen3-Coder-30B-A3B-Instruct在昇腾NPU上进行全参微调时，推荐使用8 x Ascend NPUs的硬件配置，如A2单机8卡，这是确保推理性能的基础硬件条件。

1.2 正确部署MindSpeed-LLM仓库

首先进行仓库拉取，执行以下命令：

git clone https://gitcode.com/hf_mirrors/MindSpeed/Qwen3-Coder-30B-A3B-Instruct git clone https://github.com/NVIDIA/Megatron-LM.git cd Megatron-LM git checkout core_r0.8.0 cp -r megatron ../MindSpeed-LLM/ cd .. cd MindSpeed-LLM mkdir logs mkdir dataset mkdir ckpt

然后搭建环境，创建conda虚拟环境并安装相关依赖，注意安装特定版本的transformers：

conda create -n test python=3.10 conda activate test pip install torch-2.1.0-cp310-cp310m-manylinux2014_aarch64.whl pip install torch_npu-2.1.0*-cp310-cp310m-linux_aarch64.whl git clone https://gitee.com/ascend/MindSpeed.git cd MindSpeed git checkout 2c085cc9 pip install -r requirements.txt pip3 install -e . cd ../MindSpeed-LLM git checkout 2.1.0 pip install -r requirements.txt pip install transformers == 4.51.3

二、优化权重转换与数据预处理

2.1 高效进行权重转换

从HuggingFace或魔乐社区下载权重和配置文件后，使用MindSpeed-LLM提供的脚本进行权重转换，根据实际需要的TP/PP等切分策略和权重路径修改脚本，命令如下：

cd MindSpeed-LLM bash examples/mcore/qwen3_moe/ckpt_convert_qwen3_moe_hf2mcore.sh

2.2 合理预处理数据

利用MindSpeed-LLM提供的数据集处理脚本，根据实际需求设置输入数据集路径、模型tokenizer目录以及输出路径及前缀名等参数，提升数据质量，命令为：

cd MindSpeed-LLM bash examples/mcore/qwen3_moe/data_convert_qwen3_moe_instruction.sh

三、调整推理参数设置

3.1 优化MASTER_ADDR和NODE_RANK

在多机情况下，正确设置主节点IP（MASTER_ADDR）和各机对应节点序号（NODE_RANK），确保多机协作高效，避免因网络配置问题影响推理性能。

3.2 选择合适的CHECKPOINT路径

推理时，指定训练保存的权重路径（CHECKPOINT），确保使用经过充分训练且性能良好的权重进行推理，这直接关系到推理结果的准确性和速度。

四、利用MindSpeed-LLM特性

4.1 发挥硬件与框架深度协同优势

MindSpeed-LLM与昇腾芯片深度集成，能为Qwen3-Coder-30B-A3B-Instruct提供最佳硬件加速支持，在推理阶段充分释放性能，无需额外复杂配置即可享受这种协同带来的好处。

4.2 启用分布式计算优化

MindSpeed-LLM内置的分布式计算能力可有效利用多台昇腾AI硬件，在大规模并发任务下确保模型稳定运行，极大提升处理效率和响应速度，推理时可根据实际任务规模合理配置分布式参数。

五、其他实用优化技巧

5.1 及时更新依赖软件版本

确保昇腾NPU驱动、固件、CANN Toolkit等依赖软件为商发版本，Python版本不低于3.10，PyTorch为2.1.0，torch_npu插件为2.1.0等，新版本通常会修复性能问题并提升兼容性。

5.2 合理设置推理脚本变量

在推理脚本中，除了MASTER_ADDR、NODE_RANK、CHECKPOINT和TOKENIZER_PATH，还可根据实际情况调整其他相关变量，以适应不同的推理场景和硬件环境，使推理过程更加顺畅高效。

【免费下载链接】Qwen3-Coder-30B-A3B-Instruct项目地址: https://ai.gitcode.com/hf_mirrors/MindSpeed/Qwen3-Coder-30B-A3B-Instruct