066、AR 应用中虚拟物体漂移抖动？IMU 融合 + 光流追踪的视觉里程计优化方案

066、AR 应用中虚拟物体漂移抖动？IMU 融合 + 光流追踪的视觉里程计优化方案

一、从一次让人抓狂的调试说起

去年夏天，我在一个AR导航项目里被一个问题折磨了整整两周。虚拟箭头明明应该稳稳地贴在真实路面上，结果用户稍微一晃手机，箭头就开始“跳舞”——不是那种平滑的漂移，而是像喝醉了酒一样，一会儿往左偏两厘米，一会儿又突然跳回原位。更诡异的是，在光线好的室内，抖动反而比室外更严重。

我最初怀疑是IMU的零偏没校准好，但把MPU9250的原始数据打印出来看，陀螺仪和加速度计的噪声都在规格书范围内。后来怀疑是视觉特征点太少，但ORB特征提取的数目也够。直到有一天，我盯着示波器上的IMU数据流和图像帧的时间戳，突然意识到问题所在：IMU和视觉数据的时间对齐是乱的。传感器融合最怕的就是“鸡同鸭讲”——你用100Hz的IMU去校正30Hz的视觉里程计，但两个数据流的时钟基准根本不在一个频道上。

二、IMU融合：别被“高频”两个字骗了

很多人一提到IMU融合，第一反应就是“IMU频率高，能填补视觉的空白”。这话没错，但坑也在这里。IMU的原始数据（角速度、加速度）如果不做预处理直接扔进滤波器，结果就是高频噪声被放大，低频漂移被保留。

2.1 预积分才是关键

别这样写：直接把IMU测量值当成状态量更新。
这里踩过坑：我试过把陀螺仪的角速度直接积分得到姿态，结果10秒后姿态就漂了30度。正确的做法是