17 注意力头剪枝：用“稀疏门控”砍掉50%冗余头，mAP反涨0.6%
上周客户老李发来一张推理耗时对比图：他的RT-DETR-L在边缘设备上跑了230ms，其中注意力计算占了140ms。
他试了所有常规优化——量化、TensorRT、半精度——但注意力头就是砍不掉。“我试过直接删掉一半头，mAP直接掉3个点。”他叹了口气。
我看了眼他的代码，发现问题不在剪枝本身，而在剪枝方式。他用的“硬剪枝”——训练完直接砍头——就像把一台发动机的四个气缸随机堵死两个，不熄火才怪。
今天我要分享的稀疏门控注意力剪枝，能在训练中自动学会哪些头是“冗余的”，然后优雅地关掉它们，甚至让mAP反涨。
痛点拆解：为什么你剪枝掉头，精度就崩？
常见错误实现：均匀剪枝+硬阈值
大多数人的第一版代码长这样：
defprune_attention_heads(model,keep_ratio=