一、本文介绍
🔥本文给大家介绍使用STFFM（时空特征融合模块） 改进RT-DETR多模态网络模型。提升RT-DETR多模态融合目标检测的时空特征建模能力，本文引入STFFM时空特征融合模块，在编码阶段实现空间信息与时间运动信息的早期交互。该模块通过融合空间特征与时序特征，并结合空间注意力和通道注意力机制，自适应调整不同位置及通道的重要性，使模型同时关注目标外观细节与动态变化规律。相比独立提取或后期融合方式，STFFM能够减少小目标在深层网络中的信息衰减，增强目标与背景的时空差异表达，并通过残差结构保持特征稳定性。该模块可有效抑制复杂背景、运动噪声和伪目标干扰，提升RT-DETR在动态场景、小目标及低信噪比环境下的定位精度、检测鲁棒性和时空融合能力。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR多模态创新改进！🔥
🔥RT-DETR多模态改进专栏目录：《独家RT-DETR多模态改进专栏目录 》全网独家创新，多模态融合改进教程，包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进，答疑群提供完整项目，永久更新中
🔥RT-DETR多模态创新订阅地址：RT-DETR多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊，永久更新中
本文目录
一、本文介绍
二、STFFM 时空特征融合模块模块介绍
GST-Net网络结构图：
2.1 STFFM 模块结构图
2.2 STFFM 模块的作用：
2.3 STFFM 模块的原理
2.3 STFFM 模块的优势
三、完整核心代码
四、手把手教你配置模块和修改tasks.py文件
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用
3.修改tasks.py文件
五、创建涨点yaml配置文件
🚀 中期融合创新改进🔥: rtdetr-r18-midfusion-STFFM.yaml
🚀 中后期融合创新改进🔥: rtdetr-r18-mid-to-late-STFFM.yaml
🚀 后期融合创新改进🔥: rtdetr-r18-latefusion-STFFM.yaml
六、正常运行
二、STFFM 时空特征融合模块模块介绍
摘要：在复杂地面场景下，红外小目标检测仍然面临诸多挑战。当目标被背景淹没时，多帧方法可以通过利用时间维度上的运动信息来缓解这一问题。然而，现有的多帧方法在时间运动信息提取以及时空信息融合方面仍存在不足，从而限制了其检测性能。本文提出了一种全局时空红外小目标检测框架。该检测框架由两部分组成：一是相对运动模式提取模块（RMPE），用于计算小目标的相对运动图（RMM）；二是全局时空特征融合网络（GST-Net），该网络以原始图像和 RMM 作为输入进行联合检测。RMPE 模块通过在每个时间步计算稠密光流图并进行归一化处理，并通过累积方式提取小目标的相对运动模式。GST-Net 包含两个关键模块：时空特征融合模块（STFFM）