【RT-DETR实战】118、英伟达Jetson平台TensorRT部署深度优化：从内存泄漏到推理帧率翻倍实战手记
深夜的显存幽灵
凌晨两点，Jetson Xavier NX的风扇还在嘶吼。监控屏幕上，RT-DETR的TensorRT推理进程已经连续跑了八个小时，显存占用从最初的3.2GB缓慢爬升到了5.8GB——又来了，那个熟悉的内存泄漏幽灵。
这已经不是第一次在Jetson边缘端部署时遇到这种问题，TensorRT在Jetson平台上的表现，总是比x86服务器上要“微妙”得多。
问题出在模型转换后的推理循环里。常规的TensorRT样例代码在服务器上跑得好好的，一到Jetson上就慢慢“吃”内存。
打开jtop一看，GPU内存曲线像爬楼梯一样往上走，24小时后必然OOM。这种问题在边缘设备上是致命的——你不能让一个部署在变电站或者移动机器人上的模型跑着跑着自己崩溃。
Jetson上的TensorRT到底哪里不一样
很多人以为TensorRT是“一次转换，到处运行”，其实在Jetson上这是个天真的想法。
Jetson的GPU架构（NVIDIA的Tegra系列）和桌面级GPU差异很大，内存管理、线程调度、电源策略都完全不同。你的模型在RTX 4090上转换的engine文件，直接丢到Jetson上跑，性能可能连一半都发挥不出来。
// 常见的坑：在Jetson上还像在服务器那样创建contextautoruntime