ESP32-S3边缘AI实践：Teachable Machine模型部署与离线图像识别

1. 项目概述：让微控制器“看懂”世界

几年前，当我第一次尝试把机器学习模型塞进一块只有几兆内存的微控制器时，周围的朋友都觉得这想法有点“疯狂”。毕竟，那时候的AI还高高在上，运行在拥有强大算力的服务器上。但技术的魅力就在于，它总在不断地“下沉”。今天，我们聊的正是这样一个让AI变得触手可及的话题：如何在ESP32-S3这类微控制器上，运行由Google Teachable Machine训练出来的图像分类模型，实现完全离线的物体识别。

这不仅仅是技术上的“炫技”。想想看，一个能自己识别水果种类并做出反应的智能分拣小车，一个能判断面前是宠物还是陌生人从而决定是否开门的门禁系统，或者一个在STEAM课堂上能让孩子们亲手搭建、训练并看到即时反馈的AI教具——所有这些应用的核心，都离不开边缘侧的机器学习推理。它意味着更快的响应（无需上传云端等待结果）、更低的功耗（不需要持续的网络连接）以及更好的隐私保护（你的图像数据根本不会离开设备）。

本项目就是一个典型的实践案例。我们将使用Teachable Machine这个对新手极其友好的在线工具来训练一个图像分类模型，然后通过KittenBot提供的一套工具链，将这个模型“瘦身”并部署到搭载摄像头的Sugar-Camera（基于ESP32-S3）上。最后，通过串口与Micro:bit主控通信，根据识别结果来控制LED、舵机等外设，完成一个闭环的智能交互系统。整个过程，你不需要深厚的机器学习或嵌入式开发功底，跟着步骤走，就能亲手打造一个属于自己的“微型视觉AI大脑”。

2. 核心思路与方案选型解析

2.1 为什么选择“Teachable Machine + 微控制器”这条路？

在嵌入式机器学习领域，方案选择直接决定了项目的可行性和复杂度。我们之所以采用这个组合，是基于以下几个核心考量：

首先，Teachable Machine极大地降低了模型训练的门槛。传统的机器学习模型训练，需要准备数据集、编写训练脚本、调整超参数、处理环境依赖等一系列繁琐步骤，足以劝退大多数嵌入式开发者或教育领域的初学者。Teachable Machine则将这些全部封装成了一个直观的Web界面。你只需要打开摄像头采集图片，或者上传已有图片，打上标签，点击“训练”按钮，它就会在后台利用谷歌的算力为你生成一个可用的TensorFlow.js或TensorFlow Lite模型。这种“傻瓜式”的操作，让关注点可以从“如何训练模型”完全转移到“如何用好模型”上，非常适合快速原型验证和教育演示。

其次，ESP32-S3是当前性价比极高的边缘AI硬件平台。在众多微控制器中，我们选择了ESP32-S3，特别是其带有摄像头接口的型号（如Sugar-Camera）。原因有三：第一，它内置了Wi-Fi和蓝牙，为未来扩展联网功能留有余地；第二，其双核Xtensa LX7处理器主频高达240MHz，并支持向量指令扩展，对于运行轻量级神经网络有不错的性能；第三，它通常配备4MB或以上的PSRAM，这对于缓存摄像头采集的图像数据和模型中间计算结果至关重要。没有足够的RAM，模型根本跑不起来。

最后，“训练在云端，推理在边缘”是务实的技术路径。我们利用Teachable Machine在云端完成计算密集型的模型训练，得到的是一个优化后的、固定大小的模型文件。然后，我们将这个文件部署到资源受限的ESP32-S3上，它只负责执行“推理”（Inference），即输入一张新图片，输出一个分类结果。这种分工协作的模式，完美契合了边缘计算的核心思想：让适合做重活的计算单元去做重活，让适合做实时响应的设备去专注响应。

2.2 整体系统架构与数据流

理解整个系统如何协同工作，是成功复现项目的关键。我们可以把系统拆解为三个核心阶段，数据像流水一样在这三个阶段中传递和处理：

1. 模型训练与导出阶段（在PC端完成）：

   • 输入：用户通过电脑摄像头，对着目标物体（比如一个苹果、一个乐高积木）拍摄多张照片。
   • 处理：在Teachable Machine网页中，为这些照片打上标签（如“Apple”、“Lego”），然后点击训练。Teachable Machine会在云端使用这些图片训练一个图像分类模型。
   • 输出：训练完成后，导出为一个.zip压缩包。这个包里包含了模型结构文件（.json）和权重文件（.bin），以及一些元数据。关键点在于，Teachable Machine为嵌入式设备导出的是TensorFlow Lite格式的模型，并且默认将输入图像处理为96x96像素的灰度图，这极大地减少了模型大小和计算量。

2. 模型部署与推理阶段（在Sugar-Camera/ESP32-S3上完成）：

   • 输入：通过KittenBot提供的专用工具，将上一步得到的.zip模型文件上传到Sugar-Camera的闪存中。
   • 处理：Sugar-Camera上预先烧录了特定的固件。这个固件主要做三件事：
     • 驱动摄像头，持续采集图像。
     • 将采集到的图像实时缩放并转换为96x96的灰度图。
     • 调用TensorFlow Lite Micro解释器，加载闪存中的模型，对处理后的图像进行推理计算。
   • 输出：推理得到一个分类结果（例如，是“类别0”还是“类别1”）及其置信度。这个结果会被格式化成简单的字符串（如“Class: Apple, Conf: 85%”），通过串口（UART）发送出去。

3. 决策与控制阶段（在Micro:bit上完成）：

   • 输入：Micro:bit通过串口接收来自Sugar-Camera的识别结果字符串。
   • 处理：Micro:bit上运行一个MakeCode程序，它持续监听串口数据。当收到数据后，程序解析字符串，提取出类别和置信度信息。
   • 输出：根据预设的逻辑进行决策。例如，如果识别到“Apple”且置信度高于70%，就点亮一个LED；如果识别到“Lego”，则控制舵机转动一定角度。通过Robotbit扩展板，Micro:bit可以轻松地驱动各种执行器。

这个架构清晰地将视觉感知（Sugar-Camera）和逻辑控制（Micro:bit）分离，使得系统更加模块化，也更容易调试和扩展。

3. 硬件准备与核心固件解析

3.1 硬件清单与连接要点

工欲善其事，必先利其器。以下是构建本项目所需的全部硬件，以及它们之间的连接逻辑：

• 主控与感知单元：
  • Sugar-Camera：项目的核心，基于ESP32-S3，集成了OV2640摄像头模组。它负责所有“看”和“想”（推理）的工作。
  • Micro:bit V2：项目的大脑，负责“决策”和“控制”。选择V2版本是因为其串口通信更稳定。你也可以使用Arduino Uno或其他带有串口的开发板，但需要相应调整程序。
• 连接与供电单元：
  • Robotbit扩展板：这是一个关键桥梁。它一方面为Micro:bit提供了更丰富的IO口和更稳定的电源，另一方面，其上的PH2.0接口可以方便地用4PIN连接线（包含GND, VCC, TX, RX）与Sugar-Camera相连。
  • MicroUSB数据线：两条。分别用于给Sugar-Camera烧录固件/上传模型，以及给Micro:bit/Robotbit供电下载程序。
  • PH2.0 4PIN连接线：用于连接Robotbit的串口引脚与Sugar-Camera的串口引脚。
• 结构件（可选但推荐）：
  • 乐高积木或3D打印结构：用于搭建一个稳定的支架，将摄像头固定在合适的高度和角度，对准待识别区域。避免手持造成的抖动，这对识别稳定性至关重要。

硬件连接示意图与注意事项：

Sugar-Camera <--(4PIN线)--> Robotbit扩展板 <--(插入)--> Micro:bit | | (摄像头模组) (电源与IO扩展)

注意1：串口交叉连接。串口通信的原则是“TX接RX，RX接TX”。你需要确认Robotbit上用于连接Sugar-Camera的那个PH2.0接口的引脚定义。通常，需要将Sugar-Camera的TX引脚连接到Robotbit对应接口的RX引脚，Sugar-Camera的RX连接到Robotbit的TX。VCC和GND则直连。接线错误会导致通信完全失败。注意2：供电检查。Sugar-Camera在运行时功耗较高，尤其是摄像头和神经网络推理同时工作时。务必确保你的USB电源或电池能够提供足够的电流（建议5V/1A以上），否则可能导致设备反复重启。

3.2 Sugar-Camera核心固件揭秘

Sugar-Camera之所以能跑通整个流程，离不开其底层固件。这个固件通常由硬件提供商（如KittenBot）预先开发并开源。理解它做了什么，有助于你在出现问题时进行排查。

这个固件本质上是一个基于ESP-IDF框架的嵌入式程序，它主要集成了以下几个关键库和任务：

1. 摄像头驱动层：使用esp32-camera组件来初始化OV2640摄像头，配置图像分辨率（初始可能较高，如UXGA）、像素格式（如RGB565或JPEG）。
2. 图像预处理流水线：这是连接摄像头和神经网络的桥梁。固件中会有一个任务，不断从摄像头获取一帧图像，然后进行以下处理：
   • 缩放（Resize）：使用双线性插值等算法，将原图缩放到模型要求的96x96尺寸。这是计算量较大的一步。
   • 色彩空间转换（Color Space Conversion）：将RGB或YUV格式的图像转换为灰度图（Grayscale）。因为Teachable Machine导出的嵌入式模型是单通道输入，这一步能减少75%的数据量（从RGB三通道变为单通道）。
   • 归一化（Normalization）：将像素值从[0, 255]的整数范围，转换为模型训练时约定的浮点数范围（通常是[0, 1]或[-1, 1]）。这一步对模型精度影响很大，必须与训练时保持一致。
3. TensorFlow Lite Micro运行时：这是核心中的核心。固件中编译链接了TFLite Micro库。它会：
   • 从SPI Flash的指定位置加载模型文件（.tflite）。
   • 创建解释器（Interpreter），为输入输出张量分配内存（主要在PSRAM中）。
   • 将预处理好的96x96灰度图数据填充到输入张量。
   • 调用Invoke()函数执行推理。
   • 从输出张量中获取结果，通常是一个数组，每个元素对应一个类别的置信度分数。
4. 串口通信层：将推理得到的类别索引和最高置信度，格式化为可读的字符串，通过硬件串口发送出去。例如：“0:85”表示类别0，置信度85%。格式必须与Micro:bit端的解析程序约定一致。

实操心得：固件更新与自定义

• 在项目开始前，务必按照KittenBot的指南，使用Arduino IDE或ESP-IDF的Flash Download Tools，将最新的专用固件烧录到Sugar-Camera中。一个过时或错误的固件是万恶之源。
• 如果你有一定嵌入式开发能力，可以尝试获取其开源固件代码。你可以在其中调整串口波特率（默认通常是115200）、修改输出数据格式、甚至添加一些后处理逻辑（如低置信度过滤、简单的时间滤波以稳定输出）。这能让你的项目更加个性化。

4. 模型训练：在Teachable Machine上获得最佳效果

4.1 数据采集：质量远大于数量

在Teachable Machine上训练模型，看似简单，但采集数据的方式直接决定了最终模型的鲁棒性。很多人误以为拍几十张清晰的正脸照就够了，其实不然。

核心原则：让数据尽可能覆盖推理时可能遇到的所有情况。对于这个离线识别项目，你需要模拟Sugar-Camera在实际环境中“看”物体的视角。

• 多角度采集：不要只把物体放在摄像头正前方。尝试从左侧、右侧、上方、下方等多个角度拍摄。想象一下，你的智能小车在移动中，看到物体的角度是变化的。
• 多距离采集：既要有特写（物体占满大部分画面），也要有远景（物体只占画面一部分）。这能帮助模型学习物体的尺度不变性。
• 多光照采集：如果条件允许，在光线明亮、昏暗、以及有侧光的环境下都采集一些样本。ESP32-S3的摄像头在低光下噪点会增多，提前让模型“见识”这些情况很有必要。
• 背景多样化：不要在完全相同的桌面背景下采集所有样本。更换不同的背景，或者让背景中出现一些其他无关物体。这能迫使模型聚焦于目标物体本身，而不是背景。
• “无目标”类别（None Class）：这是至关重要且容易被忽略的一类。你需要采集大量不包含任何目标物体的画面作为“None”或“Background”类别。这可以包括空桌面、你的手从镜头前划过、一些常见的干扰物等。这能有效降低误触发率。我个人的经验是，“None”类别的样本数量至少应是其他每个目标类别的1.5到2倍。

注意：Teachable Machine有单次采集的时间限制。你可以通过多次点击“按住录制”来积累一个类别的样本。每个类别收集20-30张高质量、多样化的图片，其效果远胜于100张角度单一、背景雷同的图片。

4.2 训练参数与模型导出

点击“训练模型”按钮后，Teachable Machine在后台开始了工作。虽然它没有提供高级参数调整界面，但了解其底层逻辑有助于我们理解后续的局限性。

• 默认网络架构：它很可能使用了一个轻量级的卷积神经网络（CNN），例如类似于MobileNetV1或一个定制的小型CNN，以适应96x96灰度图的输入。
• 训练过程：它使用了迁移学习（Transfer Learning）的思路。可能是在一个大型图像数据集（如ImageNet）上预训练好的模型基础上，用我们采集的少量数据对最后几层进行微调（Fine-tuning）。这解释了为什么我们用这么少的数据也能获得不错的效果。
• 训练时间：50-100张图片的训练，通常在一两分钟内即可完成。训练完成后，务必在网页右侧的“预览”面板进行实时测试。用摄像头对准各种场景，观察分类结果和置信度是否稳定、准确。

导出模型的关键步骤：

1. 在“预览”面板确认模型效果满意后，点击“导出模型”。
2. 在弹出的窗口中，选择“TensorFlow Lite”格式。这是为嵌入式设备优化的格式。
3. 在“模型类型”下，选择“量化（Quantized）”。量化会将模型权重和激活值从32位浮点数转换为8位整数，这能将模型大小减少约75%，并显著提升在微控制器上的推理速度，是边缘部署的标配技术。虽然会带来微小的精度损失，但对于教育和小型项目而言完全可接受。
4. 点击“下载我的模型”。你会得到一个.zip文件，里面包含了.tflite模型文件和一个labels.txt标签文件。

常见问题与排查：

• 问题：训练时准确率看起来很高，但实际测试时对某些角度或光照识别很差。
  • 排查：这几乎肯定是数据覆盖不全导致的。回到数据采集步骤，针对识别不好的情况，补充采集相应角度/光照下的样本，重新训练。
• 问题：模型经常把“无目标”的背景误识别为某个物体。
  • 排查：“None”类别的样本数量不足或多样性不够。增加更多复杂的背景图片，特别是那些包含颜色或纹理与目标物体有部分相似的背景。

5. 模型部署与串口通信实现

5.1 使用KittenBot工具上传模型

拿到.zip文件后，下一步就是将它塞进Sugar-Camera。这里我们使用KittenBot提供的专用上传工具（文中提到的KittenBot_Teachable Machine工具），它是一个图形化界面程序，比使用命令行工具更友好。

详细操作步骤：

1. 使用MicroUSB数据线将Sugar-Camera连接到电脑。
2. 打开上传工具，在工具中选择正确的串口号（在Windows设备管理器的“端口”下查看，通常是COMx；在macOS/Linux下是/dev/ttyUSBx或/dev/ttyACMx）。
3. 点击连接。如果连接成功，工具界面通常会显示“Connected”状态，并可能开始显示从摄像头传来的实时低分辨率视频流（这用于辅助调试，并非必需）。
4. 在工具中找到“上传模型”或“导入模型”的按钮，选择你刚刚下载的.zip文件。
5. 点击上传。工具会通过串口协议将模型文件解压并写入Sugar-Camera的SPI Flash存储器中。过程中会有进度条提示，请耐心等待直至完成。
6. 上传完成后，务必先断开工具与串口的连接，然后按下Sugar-Camera上的复位（RST）按钮，或者重新拔插USB线。这是关键一步，目的是让Sugar-Camera重新启动并加载新的模型。

实操心得：

• 如果上传工具无法连接，请检查：
  • 串口号是否正确。
  • USB线是否完好（建议使用数据线，而非仅充电线）。
  • Sugar-Camera的驱动是否已安装（ESP32-S3通常需要CP210x或CH340驱动）。
  • Sugar-Camera是否已进入“上传模式”。有些板子需要按住某个按钮再上电才能进入烧录模式，但用于上传模型的串口通信一般不需要。
• 上传成功后，重新连接工具，如果工具能显示视频流，并且视频流上方或侧边有识别结果（如“Class: X, Confidence: Y%”）不断刷新，说明模型已成功加载并运行。恭喜你，最核心的一步已经完成！

5.2 串口通信协议与Micro:bit编程

现在，Sugar-Camera已经是一个能独立“看见并思考”的智能模块了。它通过串口不断向外“诉说”它看到的结果。我们的任务就是让Micro:bit听懂这些话，并做出反应。

1. 解析通信协议：首先，你需要知道Sugar-Camera“说”的是什么格式。通过上传工具的日志窗口，或者使用一个通用的串口调试助手（如Arduino IDE的串口监视器、Putty等）连接到Sugar-Camera，可以看到它持续输出的原始数据。 典型格式可能是：

Class: 0, Conf: 92 Class: 1, Conf: 85 Class: None, Conf: 99

或者是更简洁的：

0,92 1,85 2,99

你需要亲自查看并确认这个格式，包括分隔符是逗号、空格还是其他，以及“None”类别是用数字2表示还是用字符串“None”表示。这是编写Micro:bit解析程序的基础。

2. Micro:bit MakeCode程序详解：在MakeCode for micro:bit中编写程序。核心逻辑如下：

• 初始化：

  • 设置串口。在“高级” -> “串行”中，将serial redirect to USB设置为关闭（因为我们使用物理串口引脚）。然后使用serial on data received积木块。
  • 根据你的硬件连接，设置正确的串口引脚。通常，Micro:bit的P0是RX（接收），P1是TX（发送）。你需要将Micro:bit的RX（P0）连接到Sugar-Camera的TX，Micro:bit的TX（P1）连接到Sugar-Camera的RX。
  • 设置一个变量receivedString用于累积接收到的字符。

• 数据接收与解析：

  • 在on serial data received事件中，将收到的新字符追加到receivedString中。
  • 判断是否收到一个完整的“行”（通常以换行符\n为结束标志）。在MakeCode中，你可以检查receivedString是否包含\n。
  • 如果收到完整行，进行解析：
    • 移除末尾的换行符。
    • 根据约定的格式拆分字符串。例如，如果格式是“0,92”，就用逗号分割，第一部分是类别索引（0），第二部分是置信度（92）。
    • 将置信度字符串转换为数字。
  • 清空receivedString，准备接收下一行数据。

• 决策与控制：

  • 根据解析出的类别索引和置信度，进行条件判断。
  • 示例逻辑：如果类别为0（假设是“Apple”）且置信度 > 70%，则digital write pin P2 to 1（点亮连接在P2上的LED）；否则，digital write pin P2 to 0（熄灭LED）。
  • 你可以扩展更多逻辑：用不同的类别控制不同的IO口，或者用PWM信号控制舵机转动到不同角度。

一个简化但完整的MakeCode积木逻辑示意（文字描述）：

当开机时： 设置 serial 重定向到 关闭 设置 变量receivedString 为 “” 当 serial 收到数据时： 将 receivedString 连接 收到的数据 如果 receivedString 包含 “\n” 则 删除 receivedString 末尾的 “\n” 如果 receivedString 包含 “,” 则 设置 变量parts 为 分割 receivedString 以 “,” 设置 变量classIndex 为 获取 parts 在 0 设置 变量confidence 为 将 获取 parts 在 1 转换为数字 如果 classIndex = 0 且 confidence > 70 则 数字写入引脚 P2 为 1 否则 数字写入引脚 P2 为 0 清空 receivedString

注意：实际的MakeCode积木块需要你在图形化界面中拖拽完成。务必根据你实际的引脚连接和协议格式修改上述逻辑。例如，你的“None”类别可能索引是2，那么可以添加判断如果 classIndex = 2 则 关闭所有输出。

6. 系统集成测试与性能优化技巧

6.1 端到端测试流程

将所有硬件连接好，程序下载完毕后，就可以进行全系统测试了。

1. 上电顺序：建议先给Sugar-Camera上电，等待几秒其启动完成（摄像头指示灯常亮）。然后再给Micro:bit/Robotbit上电。这可以避免Micro:bit启动时发送的乱码干扰Sugar-Camera。
2. 观察指示灯：Sugar-Camera上通常有电源指示灯和串口发送指示灯（如果有的話）。当识别进行时，发送指示灯应会闪烁，表示数据正在发出。
3. 基础功能验证：将训练过的物体（如苹果）放置在摄像头前。观察Micro:bit控制的LED是否按预期点亮。尝试更换物体，观察LED是否熄灭或做出不同反应。
4. 稳定性测试：在不同的环境光下，以不同的距离和角度测试识别效果。记录下识别失败的情况。

6.2 提升识别性能的实战技巧

在实际测试中，你可能会发现识别效果不如在Teachable Machine网页预览中那么稳定。以下是几个行之有效的优化方向：

1. 优化输入图像质量（前端优化）：

• 固定焦距与对焦：确保摄像头焦距固定，并且对焦清晰。如果使用的是定焦摄像头，要确保物体在它的最佳对焦距离上。
• 充足且均匀的光照：这是影响识别率最重要的外部因素。光线不足会导致图像噪点多；强光直射或强烈阴影会导致特征丢失。使用柔和的漫射光源是最佳选择。可以考虑为你的项目加一个小灯带。
• 简单的背景：在实际部署时，尽量让识别区域背景干净、单一，与目标物体颜色对比度高。这能大幅降低模型判断的难度。

2. 优化模型推理逻辑（后端优化）：

• 置信度阈值过滤：在Micro:bit的程序中，不要只判断类别，一定要加入置信度阈值。例如，只当置信度高于75%时才认为识别有效。这能过滤掉很多模棱两可的预测，减少误动作。
• 简单的时间滤波：单个帧的识别结果可能跳动。你可以实现一个简单的“投票”机制。例如，在Micro:bit中维护一个小的历史记录数组，连续3次识别结果都是同一个类别，才最终采纳这个结果。这能显著提升输出的稳定性。
• “None”类别的利用：当置信度最高的类别是“None”时，即使它的置信度可能不高（比如只有60%），也优先认为当前无目标，执行清空或待机逻辑。这能有效防止背景被误判为目标。

3. 模型本身的优化（终极手段）：如果以上方法仍不满足要求，可能需要回头优化模型本身：

• 重新采集和补充训练数据：针对识别不好的特定场景（如侧光、局部遮挡），补充采集数据，重新训练。这是最根本的解决方法。
• 调整Teachable Machine的导出选项：虽然选项有限，但确保导出的是量化（Quantized）的TensorFlow Lite模型。量化模型在ESP32-S3上运行更快，有时因为数值表示的改变，可能对某些噪声更鲁棒（当然也可能更敏感，需测试）。
• 探索其他轻量级模型部署方案（进阶）：如果你不满足于Teachable Machine的“黑箱”模型，可以学习使用TensorFlow Lite Micro，手动选择更先进的轻量级架构（如MobileNetV2 SSD，用于检测；或EfficientNet-Lite，用于分类）进行训练和部署。但这需要一定的机器学习知识和嵌入式编程能力。

6.3 常见问题排查速查表

这个项目就像搭积木，将易用的训练工具、强大的嵌入式硬件和灵活的控制平台组合在一起，打通了从AI模型创建到物理世界交互的完整链条。过程中遇到的每一个问题，从模糊的识别到混乱的串口数据，都是深入理解边缘AI系统底层细节的宝贵机会。当你第一次看到自己训练的模型，在巴掌大的电路板上准确地识别出物体，并驱动一个小车做出反应时，那种成就感是纯粹的云端API调用无法比拟的。它让你真切地感受到，智能不再遥远，就运行在你手边这个由电阻、电容和代码构成的小世界里。