1. 硬件选型与平台搭建
STM32H7作为STMicroelectronics推出的高性能微控制器系列，搭载Cortex-M7内核（主频可达480MHz），特别适合需要实时信号处理的边缘AI应用。我在实际项目中选用了OpenMV4 Plus开发板，它集成了STM32H743VI芯片和OV5640摄像头模组，这种组合既保证了图像采集质量，又提供了足够的算力支撑轻量级神经网络推理。
相比传统方案使用树莓派等Linux单板机，STM32H7+OpenMV的组合有三个明显优势：
- 功耗控制：整套系统工作电流仅200mA左右（5V供电），适合车载等移动场景
- 实时性保障：裸机运行避免了操作系统调度带来的延迟波动
- 开发便捷性：OpenMV固件已封装好摄像头驱动和基础图像处理算法
硬件连接非常简单：
- 通过FPC排线连接摄像头模组
- 使用USB Type-C接口供电和调试
- 扩展IO口可连接蜂鸣器或LED作为报警输出
注意：OV5640摄像头需要正确安装镜头并调整焦距，建议先用OpenMV IDE的帧缓冲区查看原始图像质量
2. 算法方案对比与选型
2.1 传统视觉算法方案
最初尝试了基于PERCLOS（Percentage of Eyelid Closure Over the Pupil）的疲劳检测算法，这是学术界广泛验证的方案。核心逻辑是通过瞳孔识别计算眼睛闭合程度：
# MicroPython示例代码 while True: img = sensor.snapshot() pupils = img.find_eye_pupils() # 瞳孔检测 if not pupils: # 检测失败视为闭眼 blink_counter += 1 perclos = blink_counter / frame_count * 100实测中发现几个痛点：
- 光照敏感：强光下瞳孔反光严重，弱光时噪点多
- 计算耗时：640x480分辨率下单帧处理需要200ms+
- 戴眼镜干扰：镜片反光会导致误检测
2.2 神经网络方案优化
转向TensorFlow Lite方案后，整体流程变为：
- Haar级联检测定位人脸区域
- 裁剪出眼部ROI区域
- 使用量化后的MobileNetV2模型分类睁眼/闭眼状态
关键改进点：
- 模型量化：将float32模型转为int8，模型体积从3.2MB压缩到780KB
- 硬件加速：启用STM32H7的硬件CRC和Cache预取功能
- 流水线优化：图像采集与推理并行处理
实测性能对比：
| 指标 | 传统算法 | TFLite方案 |
|---|---|---|
| 处理延迟(ms) | 210 | 65 |
| 准确率(%) | 72.3 | 89.7 |
| 内存占用(KB) | 150 | 320 |
3. TensorFlow Lite模型部署实战
3.1 模型训练与转换
使用Google Colab进行模型训练时，有几个实用技巧：
- 数据增强：针对车载场景添加了模拟挡风玻璃反光、夜间低光照等合成效果
- 迁移学习：冻结MobileNetV2前15层权重，只训练顶层分类器
- 量化感知训练：在训练时模拟int8量化效果
模型转换关键命令：
tflite_convert \ --output_file=model_quant.tflite \ --saved_model_dir=./saved_model \ --quantize_weights=int8 \ --quantize_activation=int83.2 嵌入式端部署
OpenMV的MicroPython环境需要特殊处理才能加载TFLite模型：
- 将模型转换为C数组：
xxd -i model_quant.tflite > model.h - 修改OpenMV固件编译配置，启用TFLite支持
- 内存优化技巧：
- 使用静态内存分配替代动态分配
- 复用中间缓冲区
- 启用STM32H7的DTCM内存（64KB零等待周期）
推理代码示例：
import tf net = tf.load('model_quant.tflite') def infer(img): input = net.get_input_tensor(0) output = net.get_output_tensor(0) input.data = img.to_bytes() # 图像数据转换 net.invoke() return output.data[0] # 返回睁眼概率4. 系统优化与性能调校
4.1 实时性保障
通过定时器中断实现严格时序控制：
- 配置硬件定时器触发30FPS采集
- 在中断服务例程(ISR)中启动DMA传输图像数据
- 主循环轮询推理结果
实测时序分析：
- 图像采集：5ms
- 人脸检测：15ms
- 眼部ROI提取：3ms
- TFLite推理：42ms
- 滤波输出：1ms
4.2 功耗优化策略
- 动态频率调节：当连续10帧检测正常时，将CPU降频到240MHz
- 外设管理：关闭未使用的I2C、SPI接口时钟
- 内存功耗模式：配置SRAM4进入低功耗状态
实测功耗对比：
| 模式 | 电流(mA) |
|---|---|
| 全速运行 | 198 |
| 优化模式 | 121 |
| 待机模式 | 35 |
5. 实际应用中的问题解决
在车载环境测试时遇到几个典型问题：
震动干扰：车辆行驶中的抖动会导致ROI区域偏移
- 解决方案：增加基于光流的稳像算法
- 代码片段：
flow = img.find_optical_flow(prev_img) roi.x += int(flow.x_mean() * 0.5)
强光干扰：阳光直射造成面部过曝
- 应对措施：
- 动态调整摄像头曝光时间
- 在模型训练数据中加入过曝样本
- 应对措施：
误报抑制：
- 设计二级滤波策略：
- 短时滤波（4帧窗口）
- 长时统计（1分钟内的疲劳趋势）
- 状态机设计：
[正常] --连续3次报警--> [预警] [预警] --持续10秒--> [疲劳] [疲劳] --2分钟正常--> [正常]
- 设计二级滤波策略：
经过两周的实际路测，系统在白天/夜间不同光照条件下的平均准确率达到87.3%，误报率控制在2次/小时以内。这套方案后来被扩展应用到工业安全监控场景，只需要重新采集数据训练模型即可快速适配。