最近在机器人领域有个很有意思的现象：像 Figure AI、1X 这些估值动辄数十亿美元的明星公司，都不约而同地将“叠衣服”作为展示其机器人能力的关键场景。这不禁让人好奇，为什么这些顶尖团队会“盯上”这件看似简单的家务活？这背后究竟是技术噱头，还是隐藏着机器人技术落地的关键密码？

本文将从一个开发者和技术观察者的角度，深入剖析“机器人叠衣服”这一任务背后所蕴含的巨大技术挑战与商业价值。我们将拆解其涉及的核心技术栈，探讨为何它成为衡量机器人通用能力的“试金石”，并分析其对未来家用服务机器人发展的启示。无论你是对机器人技术感兴趣的开发者，还是关注AI前沿应用的从业者，都能从中获得对机器人感知、决策、控制等核心环节更深入的理解。

1. 为什么是“叠衣服”？—— 一个被低估的“终极挑战”

在普通人看来，叠衣服是一项简单、重复甚至有些枯燥的家务劳动。然而，在机器人学家和AI研究者眼中，它却是一个集成了多项前沿技术的“综合性考场”。Figure AI、1X等公司选择它作为演示重点，绝非偶然。

1.1 从“专用”到“通用”的跨越门槛

传统的工业机器人（如ABB、库卡、安川等）在汽车制造、焊接、喷涂等领域取得了巨大成功，但它们本质上是专用自动化设备。它们在一个结构化的、预先定义好的环境中，以极高的精度和速度重复完成单一任务。其工作流程是“示教-再现”或基于固定编程的。

叠衣服则完全相反，它发生在非结构化、动态变化的家庭环境中。每一件衣服的材质（棉、麻、丝绸、羽绒）、大小（S码到XXL码）、状态（平铺、团成一团、部分折叠）都不同。机器人无法依赖预设的、精确的轨迹来完成工作。这就要求机器人必须具备：

1. 强大的环境感知与理解能力：需要识别“这是一件衣服”，并理解其当前的物理状态（哪部分是袖子，哪部分是领口，是否内外翻转）。
2. 复杂的物理交互与操作技能：布料是柔软、易变形、非刚体的。抓取点、施力大小、操作顺序都会直接影响结果。这涉及到柔顺控制和精细操作。
3. 高层级的任务规划与推理能力：叠衣服不是单一动作，而是一系列步骤（展开、抚平、对折、再对折、整理边角）的组合。机器人需要根据实时感知的结果，动态规划和调整这一系列动作。

因此，能稳定叠好各种衣服的机器人，证明其已经初步具备了应对非结构化环境、处理复杂物理交互和进行多步骤任务规划的能力，这正是迈向通用机器人的关键一步。

1.2 技术挑战的密集体现

叠衣服任务几乎涵盖了现代机器人技术的所有核心难题：

• 感知层面：
  • 视觉识别：需要从混乱的背景（床、沙发、地板）中分割出目标衣物。这通常依赖于深度学习模型（如Mask R-CNN, Segment Anything Model）。
  • 状态估计：判断衣物的姿态、褶皱程度、关键点（如领口、袖口、衣角）的位置。这需要结合2D视觉和3D点云数据。
  • 材质与物理属性理解：通过视觉或触觉初步判断布料的厚度、柔软度、弹性，以调整抓取和操作策略。
• 决策与规划层面：
  • 动作序列生成：将高层任务“叠衣服”分解为一系列可执行的底层动作指令。这通常需要结合符号规划和学习得到的技能。
  • 基于模型的推理：机器人需要在内部有一个关于布料物理特性的简化模型（即使是学习得到的隐式模型），以预测“如果我这样抓、那样拉，衣服会变成什么形状”。
• 控制与执行层面：
  • 柔顺与力控：机械臂末端执行器（夹爪或吸盘）需要以合适的力度抓取布料，既不能太轻导致滑脱，也不能太重导致拉扯变形或损坏衣物。这需要力/力矩传感器和相应的控制算法。
  • 双手或工具协调：叠衣服往往需要两只“手”协同工作，或者一手固定、一手操作。这涉及到多臂协调控制问题。
  • 实时反馈与调整：在操作过程中，衣服的状态不断变化，机器人需要根据视觉或触觉反馈实时微调动作，例如发现一个角没对齐时进行二次调整。

1.3 商业与情感价值的交汇点

从市场角度看，“家务自动化”是一个潜力巨大的市场。叠衣服是高频、刚需且多数人不愿做的家务之一。成功解决这个问题，能最直观地向消费者证明家用机器人的实用价值，其演示效果比“移动一个方块”或“拧一个瓶盖”更具冲击力和共鸣感。

因此，“叠衣服”成为了一个完美的技术演示标杆和市场宣传锚点。它向投资人、合作伙伴和公众清晰地传递了一个信息：“我们的机器人已经具备了处理复杂、非结构化家庭任务的核心能力。”

2. 核心技术栈拆解：如何让机器人“学会”叠衣服？

要让机器人完成叠衣服，需要一整套软硬件技术的协同。下面我们以一个典型的基于ROS（机器人操作系统）和深度学习的研究或开发项目为例，拆解其技术栈。

2.1 硬件平台构成

一个用于叠衣服研究的机器人系统通常包括：

1. 机械臂：6轴或7轴协作机械臂，如Universal Robots UR系列、Franka Emika Panda等，具备一定的负载能力和工作空间。要求支持力控或阻抗控制模式。
2. 末端执行器：
   • 夹爪：自适应夹爪或二指夹爪，用于抓取和捏持。
   • 吸盘：真空吸盘，适用于平整、不易透气的面料（如衬衫），可能配合夹爪使用。
   • 专用工具：有些研究使用带滚轮的装置来抚平褶皱。
3. 感知系统：
   • RGB-D相机：如Intel RealSense、Azure Kinect，用于获取环境的彩色图像和深度信息，生成点云。这是视觉感知的基础。
   • 触觉传感器：安装在夹爪指尖，用于测量抓取力、滑动和接触纹理，对于判断是否抓牢、布料质地很重要。
4. 计算单元：高性能工控机或带GPU的服务器，用于运行视觉识别模型、运动规划算法和控制系统。

2.2 软件架构与算法流程

软件层面通常基于ROS/ROS2进行模块化开发，各模块通过Topic或Service进行通信。核心流程如下：

graph TD A[RGB-D相机原始数据] --> B(视觉感知模块); B --> C{衣物识别与状态估计}; C --> D[衣物分割掩码]; C --> E[关键点/角点位置]; C --> F[3D姿态估计]; D & E & F --> G(任务规划与决策模块); G --> H[生成动作序列: 抓取点A, 移动至B, 对折...]; H --> I(运动规划与控制模块); I --> J[逆运动学求解]; I --> K[轨迹规划]; I --> L[力控指令]; J & K & L --> M[机械臂与末端执行器]; M --> N{执行动作}; N --> O[视觉/触觉反馈]; O --> G;

流程详解：

1. 感知与识别：

   • 输入：RGB图像和深度点云。
   • 处理：使用训练好的深度学习模型（如在定制衣物数据集上微调的Mask R-CNN）进行实例分割，得到衣物的像素级掩码。
   • 输出：衣物的轮廓、类别（T恤、裤子、毛巾），并通过算法或网络估计其角点、边缘等关键特征在3D空间中的位置。

2. 状态估计与建模：

   • 根据识别出的轮廓和关键点，结合物理先验（如衣服的大致对称性），估计衣物当前的展开状态和大致几何。
   • 构建一个简化的物理模型或利用学习到的模型，预测对衣物进行操作后的形变。

3. 任务与动作规划：

   • 高层任务规划：将“叠衣服”分解为标准化步骤。例如，对于T恤：定位 -> 抓取肩部 -> 提起抖动 -> 平铺 -> 识别左右侧 -> 折叠一侧 -> 折叠另一侧 -> 对折 -> 整理。
   • 底层动作规划：为每个步骤生成具体的机器人动作。例如，“抓取肩部”需要计算出最佳的抓取点（在3D空间中的坐标）和抓取姿态（夹爪的角度）。

4. 运动规划与控制：

   • 运动规划：使用运动规划库（如MoveIt!）计算从当前位置到抓取点、再到目标位置的无碰撞轨迹。
   • 柔顺控制：在接触和操作布料时，切换为力控或阻抗控制模式，使机械臂表现得“柔软”，避免硬性拉扯。这需要底层控制器（如ros_control）的支持。

5. 反馈与调整：

   • 在执行每个动作后，通过视觉检查结果（如“对折后边缘是否对齐”）。
   • 如果未达到预期，则触发重规划或调整动作（如微调抓取位置再次尝试）。

2.3 关键算法与代码示例（概念层面）

以下是一些核心环节的伪代码或概念性代码，帮助理解实现思路：

1. 使用深度学习进行衣物分割（Python/PyTorch 概念示例）

# 假设使用一个预训练的语义分割模型 import torch from models import load_pretrained_mask_rcnn from perception_utils import preprocess_image, postprocess_masks class GarmentSegmenter: def __init__(self, model_path): self.model = load_pretrained_mask_rcnn(model_path) self.model.eval() self.device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') self.model.to(self.device) def segment(self, rgb_image): """输入RGB图像，返回衣物掩码和边界框""" # 图像预处理 input_tensor = preprocess_image(rgb_image).to(self.device) with torch.no_grad(): predictions = self.model([input_tensor]) # 后处理：获取掩码、类别、置信度 masks, labels, scores = postprocess_masks(predictions[0]) # 过滤出“衣物”类别的结果（假设类别ID为1） garment_masks = [] garment_boxes = [] for mask, label, score in zip(masks, labels, scores): if label == 1 and score > 0.7: # 置信度阈值 garment_masks.append(mask.cpu().numpy()) garment_boxes.append(prediction['bbox'].cpu().numpy()) return garment_masks, garment_boxes # 返回多个衣物的掩码和框

2. 计算抓取点（基于简单启发式方法）

# 这是一个简化的示例，实际中可能使用网络预测抓取点 import numpy as np import cv2 def compute_grasp_point_from_mask(garment_mask, depth_map, camera_intrinsics): """ 根据衣物掩码和深度图，计算一个可行的3D抓取点。 策略：选择掩码区域上部中心点，假设为衣领或肩部区域。 """ # 找到掩码的轮廓 contours, _ = cv2.findContours(garment_mask.astype(np.uint8), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: return None largest_contour = max(contours, key=cv2.contourArea) # 获取轮廓的边界矩形 x, y, w, h = cv2.boundingRect(largest_contour) # 定义抓取点：在矩形上部1/4处的中心 grasp_pixel_x = x + w // 2 grasp_pixel_y = y + h // 4 # 确保坐标在图像内 height, width = depth_map.shape grasp_pixel_x = np.clip(grasp_pixel_x, 0, width-1) grasp_pixel_y = np.clip(grasp_pixel_y, 0, height-1) # 获取深度值（注意深度图可能需转换单位） depth = depth_map[grasp_pixel_y, grasp_pixel_x] if depth <= 0: # 无效深度 # 可尝试在周围像素采样 return None # 将像素坐标和深度转换为3D相机坐标（使用相机内参） # camera_intrinsics 是相机内参矩阵 [fx, 0, cx; 0, fy, cy; 0, 0, 1] fx, fy, cx, cy = camera_intrinsics[0,0], camera_intrinsics[1,1], camera_intrinsics[0,2], camera_intrinsics[1,2] z = depth x = (grasp_pixel_x - cx) * z / fx y = (grasp_pixel_y - cy) * z / fy grasp_point_3d_camera = np.array([x, y, z]) return grasp_point_3d_camera # 在相机坐标系下的3D点

3. 简单的动作序列定义（YAML 配置示例）

# folding_policy.yaml - 定义T恤的折叠策略 garment_type: "t_shirt" steps: - name: "locate_and_grasp_shoulders" action: "grasp" params: target: "shoulder_region" # 由感知模块提供具体坐标 gripper_force: "medium" - name: "lift_and_drape" action: "move_linear" params: target_pose: "pre_drape_pose" # 一个预定义的空中位置 speed: 0.1 - name: "drape_on_table" action: "move_linear" params: target_pose: "drape_pose" # 将衣服平铺在桌上的目标姿态 speed: 0.05 control_mode: "force_z" # Z方向使用力控，轻轻放下 - name: "fold_left_side" action: "fold" params: side: "left" fold_line: "center_line" # 基于感知的中间线估计 - name: "fold_right_side" action: "fold" params: side: "right" fold_line: "center_line" - name: "final_fold" action: "fold" params: direction: "top_to_bottom" fold_line: "half_height_line"

3. 主要技术难点与当前解决方案

尽管框架已清晰，但实现稳定可靠的叠衣服机器人仍面临诸多挑战。

3.1 感知不确定性

• 难点：衣物形态千变万化，严重遮挡、强褶皱、透明或反光面料都会导致视觉识别失败。
• 解决方案：
  • 大规模、高质量的数据集：收集各种材质、颜色、状态下的衣物图像进行标注和训练。
  • 多模态融合：结合视觉（RGB-D）和触觉反馈。当视觉不确定时，通过轻轻触碰来感知布料边缘或厚度。
  • 主动感知：让机器人主动进行探索性动作，例如用夹爪轻轻拨动衣物，以获得更好的观察视角。

3.2 物理交互的复杂性

• 难点：布料的动力学模拟非常耗时，且与现实存在差距。抓取和操作时，布料的形变难以精确预测。
• 解决方案：
  • 简化模型与学习：不追求精确的物理仿真，而是使用简化模型（如质点-弹簧模型）或完全通过深度强化学习（DRL）让机器人在仿真或现实中“试错”学习操作策略。
  • 模仿学习：通过演示学习（Learning from Demonstration, LfD）记录人类叠衣服的动作轨迹，让机器人模仿。
  • 分层强化学习：高层策略决定步骤顺序，底层策略学习每个具体动作（如“抓取”、“抚平”）。

3.3 任务规划的泛化能力

• 难点：为每一种衣物（衬衫、裤子、袜子、裙子）都手工编码一套折叠策略是不现实的。
• 解决方案：
  • 基于语义的任务规划：让机器人理解“折叠”的通用语义目标（使衣物面积变小，形状规则），并基于当前感知到的衣物几何，实时生成操作序列。
  • 大模型赋能：利用视觉-语言大模型（VLMs）或具身智能大模型来理解场景、解析任务，甚至生成高层动作指令。例如，向机器人发出“请把床上那件红色T恤叠好”的指令。

4. 对开发者与行业的启示

Figure AI、1X等公司的实践，为机器人领域的开发者和研究者指明了几个重要方向：

1. 软硬件协同设计至关重要：叠衣服需要专用的末端执行器（如柔顺夹爪、吸盘组合）和力控机械臂。算法必须与硬件特性深度结合。
2. 仿真到现实的迁移（Sim2Real）是必由之路：在物理仿真环境（如PyBullet, MuJoCo, Isaac Sim）中训练策略，再迁移到真实机器人，能大幅降低试错成本。但必须处理好动力学差异。
3. 数据是核心资产：构建覆盖各种场景、衣物、动作的机器人操作数据集，将成为训练更鲁棒模型的基础。这可能催生专门的机器人数据服务。
4. 模块化与开源生态：像ROS/ROS2这样的开源框架，以及MoveIt!、NVIDIA Isaac等工具链，降低了开发门槛。未来在感知、规划、控制等模块可能会出现更优秀的开源解决方案。
5. 从“演示”到“产品”的漫长道路：实验室中80%成功率的演示，到家庭环境中99.9%可靠的产品，中间需要解决无数的工程化问题，如安全性、功耗、成本、噪音、维护等。

5. 动手尝试：基于ROS和MoveIt!的简易抓取演示

如果你是一名机器人开发者，想要体验相关技术，可以从一个更简单的任务开始：让机械臂抓取一个固定位置的规则物体。下面是一个基于ROS Noetic和MoveIt!的极简示例框架。

环境准备：

• Ubuntu 20.04
• ROS Noetic
• MoveIt! (sudo apt install ros-noetic-moveit)
• 一个URDF描述的机器人模型（如UR5）

步骤概览：

1. 创建功能包和工作空间

   mkdir -p ~/catkin_ws/src cd ~/catkin_ws/src catkin_create_pkg my_robot_grasping roscpp moveit_core moveit_ros_planning_interface cd ~/catkin_ws catkin_make source devel/setup.bash

2. 编写一个简单的抓取节点（C++示例）

   // ~/catkin_ws/src/my_robot_grasping/src/simple_grasp.cpp #include <moveit/move_group_interface/move_group_interface.h> #include <moveit/planning_scene_interface/planning_scene_interface.h> #include <geometry_msgs/Pose.h> int main(int argc, char** argv) { ros::init(argc, argv, "simple_grasp_demo"); ros::NodeHandle node_handle; ros::AsyncSpinner spinner(1); spinner.start(); // 初始化MoveGroup，使用你机器人配置中的规划组名称，如"manipulator"或"arm" static const std::string PLANNING_GROUP = "manipulator"; moveit::planning_interface::MoveGroupInterface move_group(PLANNING_GROUP); moveit::planning_interface::PlanningSceneInterface planning_scene_interface; // 设置目标抓取位姿（需要根据你的相机标定和物体位置计算） geometry_msgs::Pose target_pose; target_pose.orientation.w = 1.0; // 默认朝向 target_pose.position.x = 0.4; target_pose.position.y = 0.1; target_pose.position.z = 0.2; move_group.setPoseTarget(target_pose); // 规划并执行运动 moveit::planning_interface::MoveGroupInterface::Plan my_plan; bool success = (move_group.plan(my_plan) == moveit::core::MoveItErrorCode::SUCCESS); if(success) { ROS_INFO("Planning succeeded, executing..."); move_group.execute(my_plan); } else { ROS_WARN("Planning failed!"); } // 此处应添加控制夹爪闭合的代码（取决于你的夹爪驱动） // 例如：发布一个服务请求或Topic消息 // close_gripper(); // 规划回到一个安全位置 move_group.setNamedTarget("home"); // 假设在SRDF中定义了"home"位姿 success = (move_group.plan(my_plan) == moveit::core::MoveItErrorCode::SUCCESS); if(success) { move_group.execute(my_plan); } ros::shutdown(); return 0; }

3. 编译与运行

   • 修改CMakeLists.txt添加可执行文件。
   • 编译后，先启动机器人仿真器（如Gazebo）和MoveIt!配置的move_group节点。
   • 运行你的节点：rosrun my_robot_grasping simple_grasp_demo

这个示例省略了视觉感知、复杂的抓取点计算和力控，但它展示了使用MoveIt!进行运动规划的基本流程，是迈向更复杂任务（如叠衣服）的第一步。

6. 未来展望

“叠衣服”只是起点。通过攻克这一挑战，机器人技术将在灵巧操作、非结构化环境理解和多步骤任务规划方面积累宝贵经验。下一步，我们可以期待机器人在更复杂的家庭场景中发挥作用，例如整理房间、备餐辅助、照顾老人等。

对于开发者而言，关注机器人学习（Robot Learning）、视觉-语言-动作模型（VLA）、仿真技术以及开源机器人中间件（如ROS 2）的发展，将是把握这一波浪潮的关键。从叠衣服这个“小”任务出发，我们正在一步步推开通用具身智能时代的大门。