当前位置：首页 > news >正文

别再手动拼接Batch了！用ONNXRuntime和TensorRT进行多图推理的Python/C++保姆级教程

news 2026/6/1 8:13:35

高效Batch推理实战：ONNXRuntime与TensorRT的深度对比与优化指南

在计算机视觉项目的生产部署中，从单张图片处理转向批量推理是性能优化的关键一步。许多开发者习惯使用for循环逐张处理，这不仅效率低下，还无法充分利用现代推理引擎的并行计算能力。本文将带您深入理解ONNXRuntime和TensorRT在批量推理中的核心差异，并提供可直接集成到项目中的优化方案。

1. 批量推理的核心挑战与解决方案

批量推理看似简单，实则暗藏多个技术陷阱。最常见的误区是认为只需将多张图片数据拼接起来就能实现高效推理。实际上，内存布局、计算图优化和硬件资源调度都会显著影响最终性能。

典型问题场景：

动态Batch支持不完善导致推理失败
内存拷贝次数过多拖慢整体流程
预处理与推理环节存在性能瓶颈
不同框架的API设计差异引发兼容性问题

ONNXRuntime和TensorRT作为两大主流推理引擎，在批量处理上采取了不同的优化路径。ONNXRuntime的优势在于跨平台兼容性，而TensorRT则专为NVIDIA GPU设计了极致优化方案。下面我们通过具体代码示例来剖析两者的关键区别。

2. ONNXRuntime批量推理全流程解析

2.1 输入数据预处理优化

def prepare_batch_opencv(image_paths, target_size=(28, 28)): """使用OpenCV进行向量化预处理""" blobs = [] for img_path in image_paths: img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) blob = cv2.dnn.blobFromImage( img, scalefactor=1/255., size=target_size, swapRB=False, crop=False ) blobs.append(blob) return np.concatenate(blobs, axis=0)

关键改进点：

使用OpenCV的blobFromImage替代手动归一化
提前收集所有blob后再拼接，减少内存碎片
保持NHWC到NCHW的自动转换

2.2 会话创建与推理执行

# 创建优化后的推理会话 sess_options = onnxruntime.SessionOptions() sess_options.graph_optimization_level = ( onnxruntime.GraphOptimizationLevel.ORT_ENABLE_ALL ) sess_options.execution_mode = onnxruntime.ExecutionMode.ORT_PARALLEL session = onnxruntime.InferenceSession( "model.onnx", providers=['CUDAExecutionProvider'], sess_options=sess_options ) # 批量推理执行 def ort_inference(session, batch_data): input_name = session.get_inputs()[0].name outputs = session.run( None, {input_name: batch_data.astype(np.float32)}, run_options=None ) return outputs[0]

性能调优参数：

ORT_ENABLE_ALL启用所有图优化
ORT_PARALLEL启用并行执行
指定CUDA执行提供者

3. TensorRT批量推理深度优化

3.1 引擎构建阶段的关键配置

# TensorRT builder配置示例 builder = trt.Builder(logger) network = builder.create_network( 1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH) ) parser = trt.OnnxParser(network, logger) # 设置优化配置文件 config = builder.create_builder_config() config.max_workspace_size = 1 << 30 # 1GB config.set_flag(trt.BuilderFlag.FP16) # 启用FP16加速 # 显式设置batch范围 profile = builder.create_optimization_profile() profile.set_shape( "input_name", min=(1, 1, 28, 28), # 最小batch opt=(8, 1, 28, 28), # 最优batch max=(16, 1, 28, 28) # 最大batch ) config.add_optimization_profile(profile)

关键配置说明：

EXPLICIT_BATCH必须明确指定
工作空间大小影响算子融合效果
动态shape需要正确定义三个关键值

3.2 内存管理与异步执行

// C++端的高效内存管理 void prepare_buffers( int batch_size, float** host_input, float** device_input, float** host_output, float** device_output ) { const int input_size = batch_size * 1 * 28 * 28; const int output_size = batch_size * 10; // 假设输出10类 // 分配锁页内存 cudaMallocHost(host_input, input_size * sizeof(float)); cudaMallocHost(host_output, output_size * sizeof(float)); // 分配设备内存 cudaMalloc(device_input, input_size * sizeof(float)); cudaMalloc(device_output, output_size * sizeof(float)); } // 异步推理流水线 void async_inference( nvinfer1::IExecutionContext& context, cudaStream_t stream, float* device_input, float* device_output ) { void* bindings[] = {device_input, device_output}; context.enqueueV2(bindings, stream, nullptr); }

最佳实践：

使用cudaMallocHost分配锁页内存
保持输入输出缓冲区持久化
利用CUDA流实现异步执行

4. 框架对比与选型建议

4.1 性能基准测试数据

指标	ONNXRuntime (CPU)	ONNXRuntime (GPU)	TensorRT (GPU)
延迟 (batch=1)	15ms	8ms	5ms
吞吐量 (batch=16)	42 fps	120 fps	210 fps
内存占用	中等	中等	低
启动时间	快	中等	慢

4.2 技术选型决策树

部署环境考量
- 跨平台需求 → ONNXRuntime
- 纯NVIDIA环境 → TensorRT
模型复杂度
- 简单模型 → ONNXRuntime
- 复杂模型 → TensorRT
开发周期
- 快速迭代 → ONNXRuntime
- 极致优化 → TensorRT
维护成本
- 多后端支持 → ONNXRuntime
- 长期固定部署 → TensorRT

5. 实战中的高级技巧与排错

5.1 动态Batch处理模式

# ONNXRuntime动态shape处理 def create_ort_session_with_dynamic_shape(model_path): sess_options = onnxruntime.SessionOptions() session = onnxruntime.InferenceSession( model_path, sess_options=sess_options, providers=['CUDAExecutionProvider'] ) # 设置动态维度 model_input = session.get_inputs()[0] if -1 in model_input.shape: # 检测动态维度 print(f"模型支持动态输入: {model_input.shape}") return session, True return session, False # TensorRT动态shape推理 void run_dynamic_inference( nvinfer1::IExecutionContext& context, int actual_batch_size, /* 其他参数 */ ) { context.setBindingDimensions( 0, nvinfer1::Dims4{actual_batch_size, 1, 28, 28} ); // ...执行推理 }