066、NPU的EfficientNet加速：复合缩放与硬件适配

066、NPU的EfficientNet加速：复合缩放与硬件适配

去年夏天调一个边缘检测项目，客户要求把EfficientNet-B0塞进一块算力只有2TOPS的NPU里。模型跑起来倒是能跑，延迟直接飙到180ms，帧率连5fps都稳不住。我盯着NPU的profiling报告看了半天，发现卷积层的MAC利用率只有可怜的37%，大部分时间都在等数据搬运。那会儿我才真正意识到，EfficientNet的复合缩放策略在NPU上不是简单的“放大缩小”问题，硬件适配才是真正的坑。

复合缩放到底在缩放什么

EfficientNet的核心思想是用一个复合系数φ同时缩放三个维度：深度（层数）、宽度（通道数）和输入分辨率。公式很简单：深度缩放α^{φ，宽度缩放β}φ，分辨率缩放γ^φ，约束条件是α·β²·γ²≈2。这个约束条件来自一个直觉：卷积操作的计算量正比于深度×宽度²×分辨率²。

但NPU不是GPU。GPU的并行度可以靠SM数量硬堆，NPU的MAC阵列是固定的——比如我手头这颗芯片，MAC阵列是16×16的脉动阵列，一次只能处理256个乘加操作。当EfficientNet的宽度缩放把通道数从32变成64，GPU上只是多跑几个warp，NPU上却要拆成多个tile，每次tile之间还有数据重排的开销。

我踩过最深的坑是直接拿PyTorch的EfficientNet预训练权重，用ONNX导出后丢到NPU编译器里。编译器报了个“unsupported reshape pattern”，查了半天才发现是SE模块里的全局平均池化后，那个reshape操作把4D张量压成2D再拉回4D，NPU的硬