Qwen2-VL-72B-Instruct性能测试报告：800I A2 32G/64G服务器吞吐量对比

Qwen2-VL-72B-Instruct性能测试报告：800I A2 32G/64G服务器吞吐量对比

【免费下载链接】qwen2_vl_72b_instruct项目地址: https://ai.gitcode.com/hf_mirrors/MindIE/qwen2_vl_72b_instruct

Qwen2-VL-72B-Instruct是阿里云研发的大规模视觉语言模型（LVLM），支持图像、文本、视频输入与文本输出。本文将深入对比800I A2 32G和64G服务器在部署该模型时的吞吐量表现，为企业级AI应用落地提供关键性能参考。

测试环境准备

硬件配置要求

部署Qwen2-VL-72B-Instruct模型需满足以下硬件条件：

• 基础配置：1台800I A2服务器（32G/64G显存版本）
• 推荐配置：800I A2 64G版本（支持更高并发与更大batch size）

软件环境部署

1. 获取镜像
   前往昇腾社区下载适配镜像：1.0.0-800I-A2-py311-openeuler24.03-lts

2. 启动容器

docker run -dit -u root \ --name qwen2_vl_test \ -e ASCEND_RUNTIME_OPTIONS=NODRV \ --privileged=true \ -v /data:/data \ --shm-size=100g \ -p 2222:22 \ ${MindIE 1.0.0 镜像} \ /bin/bash

3. 安装依赖

cd /usr/local/Ascend/atb-models pip install -r requirements/models/requirements_qwen2_vl.txt

核心测试参数配置

性能测试基于/usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh脚本进行，关键参数设置如下：

吞吐量测试结果对比

800I A2 32G服务器表现

• 测试配置：8卡运行（ASCEND_RT_VISIBLE_DEVICES=0-7）
• 输出结果：320 tokens / 7.44秒 →43 tokens/s
• 关键指标：首token时延参考终端performance输出

800I A2 64G服务器表现

• 测试配置：4卡/8卡均可（推荐8卡以最大化性能）
• 输出结果：2560 tokens / 25.912秒 →98.79 tokens/s
• 性能提升：相比32G版本吞吐量提升129.7%

性能优化建议

1. 显存配置优化
   在服务化推理时，通过config.json调整npuMemSize参数：

   • 32G服务器：建议设为1GB（为ViT预留显存）
   • 64G服务器：可设为8GB（提升KV Cache容量）

2. batch size调整策略

   • 32G版本：最大支持batch size=4（超出会导致OOM）
   • 64G版本：建议batch size=32（平衡吞吐量与响应速度）

3. 输入长度控制
   max_input_length设置过大会影响吞吐，建议根据实际场景调整：

   • 图文场景：8192（默认值）
   • 视频场景：需适当增大（如16384）

测试结论

800I A2 64G服务器在部署Qwen2-VL-72B-Instruct时展现出显著性能优势，尤其在高并发场景下可提供近两倍于32G版本的吞吐量。企业用户应根据业务规模选择配置：

• 中小规模应用：32G版本可满足基础需求
• 大规模部署：64G版本能显著降低单位token成本

完整性能测试脚本与更多参数调优细节可参考/usr/local/Ascend/atb-models/examples/models/qwen2_vl/run_pa.sh。

声明

本测试使用的模型和数据集仅供非商业目的，使用时请遵守对应License。如发现功能或合规问题，可通过代码仓issue反馈。

【免费下载链接】qwen2_vl_72b_instruct项目地址: https://ai.gitcode.com/hf_mirrors/MindIE/qwen2_vl_72b_instruct