论文: RMT: Retentive Networks Meet Vision Transformers
作者: Qihang Fan, Huaibo Huang, Mingrui Chen, Hongmin Liu, Ran He
发表: CVPR 2024
论文链接: arXiv:2309.11523
代码链接: qhfan/RMT
一、引言
Vision Transformer（ViT）自问世以来，在计算机视觉领域取得了巨大成功。然而，作为 ViT 核心组件的 Self-Attention 存在两个固有缺陷：
- 缺乏显式空间先验——标准 Self-Attention 对所有 token 对一视同仁，没有考虑图像中空间位置的几何关系；
- 二次计算复杂度——全局建模的计算量随 token 数量平方增长，限制了高分辨率场景下的应用。
为解决上述问题，RMT（Retentive Networks Meet Vision Transformers）从 NLP 领域的 Retentive Ne