【学术干货】多机器人协同与视觉-语言模型机器人操作：Science Robotics前沿论文解读

【解读论文信息概览】

论文一：跨机器人行为适应

• 论文中文标题：通过意图对齐实现跨机器人行为适应

• 论文英文标题：Cross-robot behavior adaptation through intention alignment

• 发表时间：2026年3月18日

• DOI：10.1126/scirobotics.adv2250

论文二：检索增强VLM空间感知框架

• 论文中文标题：使VLM具备空间感知能力的检索增强框架——面向以物体为中心的机器人操作

• 论文英文标题：A retrieval-augmented framework enabling VLM spatial awareness for object-centric robot manipulation

• 期刊/会议：Science Robotics

• 发表时间：2026年

• DOI：10.1126/scirobotics.aea2092

多机器人系统的协同挑战

随着机器人技术在工业制造、物流仓储、医疗辅助等领域的广泛应用，多机器人系统的协同作业已成为现代机器人研究的核心命题之一。与单机器人系统相比，多机器人系统具有效率高、鲁棒性强、任务覆盖范围广等显著优势，但同时也面临着更为复杂的技术挑战。

在真实应用场景中，不同机器人可能来自不同制造商，运行着不同的控制算法，拥有各异的物理特性（如载重能力、运动速度、感知精度）和行为模式。当这些异构机器人需要协同完成复杂任务时，如何消除它们之间的行为差异，实现无缝协作，成为制约多机器人系统实际落地的关键瓶颈。

传统的多机器人协同方法主要依赖中心化的任务分配与调度系统，需要预先定义严格的行为协议和通信规范。这种方法在结构化环境中表现良好，但在面对动态变化的任务需求、非预定义的协作场景，以及缺乏中心协调节点的分布式环境时，其局限性便暴露无遗。

视觉-语言模型赋能机器人操作

与此同时，视觉-语言模型（Vision-Language Model, VLM）的快速发展为机器人感知与决策带来了全新范式。GPT-4V、Gemini等多模态大模型展现了强大的图像理解、场景推理和指令遵循能力，其丰富的世界知识有望帮助机器人突破传统方法在泛化能力和语义理解方面的瓶颈

然而，将VLM直接应用于机器人操作仍面临严峻挑战。核心问题在于：VLM的训练数据主要来自互联网图文，其对三维物理空间的理解能力有限。当要求机器人执行“将桌上的红色盒子放到蓝色托盘的左侧”这类需要精确空间推理的任务时，VLM往往力不从心——它可能理解“左侧”的语义含义，却无法准确判断物理空间中的相对位置关系。

此外，VLM的推理过程发生在云端或高性能计算设备上，而机器人操作需要在毫秒级时间内完成实时响应。如何在保证操作精度的同时充分利用VLM的语义理解能力，成为一个亟待解决的技术难题。

意图对齐：多机器人协同的新范式

论文一的研究动机源于一个关键观察：在多机器人协作中，“理解彼此意图”比“执行固定程序”更为重要。当两个机器人需要共同搬运一个物体时，如果每台机器人都能准确推断协作伙伴的下一步行动，并据此调整自身策略，那么即便它们此前的运动习惯完全不同，也能够实现自然流畅的配合。

传统的机器人编程要求预先精确指定每个机器人在每个时刻的姿态和动作。这种方式不仅开发成本高昂，而且难以应对环境变化和意外状况。相比之下，人类团队协作时很少需要如此详尽的指令——团队成员通过观察彼此的行为、预判相互的意图，自然而然地形成默契。

因此，论文一提出了一种基于“意图对齐”（Intention Alignment）的多机器人行为适应框架。其核心假设是：如果机器人能够学会从观察伙伴行为中推断其当前意图，并基于这种推断动态调整自身行为，那么即便没有中心化的协调机制，异构机器人也能够实现高效协作。

空间感知：VLM机器人操作的最后一块拼图

论文二的研究动机则聚焦于VLM在机器人操作应用中的核心障碍：空间推理能力的缺失。尽管VLM在图像识别、物体检测、场景描述等任务上表现出色，但其对三维空间关系的理解——尤其是涉及深度、距离、遮挡和相对位置的关系——往往不够精确。

研究团队指出，这一问题的根源在于训练数据的本质差异。互联网图像数据主要反映二维视觉模式，缺乏系统性的三维空间标注。相比之下，机器人操作必须精确处理物理空间中的几何关系。此外，VLM的推理输出以语言形式为主，难以直接转化为机器人控制所需的精确运动参数。

基于此，论文二提出了一种检索增强（Retrieval-Augmented）的框架，通过引入专门的空间知识库和几何推理模块，增强VLM的空间感知能力，使其能够胜任需要精确空间推理的机器人操作任务。

核心创新

论文一：意图对齐驱动的行为适应机制

论文一的核心创新在于提出了“意图对齐”这一概念，并设计了配套的学习与推理框架。与传统方法要求机器人遵循统一的行为规范不同，意图对齐方法允许每个机器人保持其独特的运动风格和偏好，同时通过学习推断协作伙伴的意图来动态调整自身行为。

具体而言，该方法包含三个关键创新点：

第一，意图表示学习。 研究团队设计了一种紧凑的意图表示空间，将机器人的复杂行为编码为低维的意图向量。通过观察目标机器人的历史行为轨迹，协作伙伴可以推断出其当前意图向量的值，从而预判其未来行动。

第二，跨机器人意图推断网络。 针对异构机器人之间的协作场景，研究团队开发了一种跨实体的意图推断网络。该网络能够处理不同机器人之间的观察空间差异（如传感器配置、运动能力不同），实现通用的意图识别能力。

第三，自适应行为生成。 基于推断的协作意图，每个机器人独立生成适配自身运动特性的协作行为。这种去中心化的行为生成机制避免了单点故障风险，同时保证了系统的可扩展性。

论文二：检索增强的空间感知框架

论文二的核心创新在于提出了一种将VLM的语义理解能力与专用空间推理能力相结合的混合架构。该框架不试图让VLM单独完成空间推理任务，而是通过检索机制引入外部空间知识，再由几何推理模块完成精确计算。

该方法包含两项关键创新：

第一，多层次检索增强机制。 框架包含视觉检索和语言检索两条通道。视觉检索从历史操作案例库中匹配相似场景；语言检索从结构化知识库中检索相关的空间概念定义。两种检索结果相互补充，共同为VLM提供丰富的上下文信息。

第二，几何-语义对齐模块。 该模块负责将VLM的语义理解输出（如“物体在左侧”）与几何计算模块的精确结果（如“相对角度30度”）进行对齐融合。通过学习对齐权重，框架能够根据任务类型动态调整对语义线索和几何线索的依赖程度。

技术方案详解

论文一技术方案

意图表示与学习

研究团队假设机器人的行为由“显性意图”和“随机扰动”两部分组成。显性意图决定了行为的主要趋势，随机扰动则反映了执行过程中的不确定性。通过从行为序列中分离这两个成分，可以推断出机器人的意图。

形式化地，给定机器人i的行为轨迹 $B_i = {b_1, b_2, ..., b_T}$，意图推断网络 $f_\theta$ 学习从行为序列到意图向量的映射：

$$\hat{z}i = f\theta(B_i)$$

其中 $\hat{z}_i$ 是推断的意图向量，$\theta$ 是网络参数。训练时使用自监督学习，通过重建行为序列的代理任务进行预训练，再在协作场景中进行微调。

跨机器人意图推断

异构机器人之间的意图推断面临一个根本挑战：观察空间和动作空间可能完全不同。例如，轮式移动机器人的运动特征与机械臂的操作特征差异巨大。为了解决这一问题，研究团队设计了基于中间表示的跨实体推断机制。

具体而言，意图推断网络不直接在原始行为空间运作，而是先将原始行为映射到一个共享的“行为表示空间”。该空间的设计参考了机器人学的运动基元理论，将不同形式的行为统一编码为一套运动属性（如运动方向、速度变化、作用力方向等）。基于这种统一表示，跨机器人的意图推断成为可能。

协作行为生成

在推断出协作伙伴的意图后，每个机器人需要生成能够配合该意图的自身行为。研究团队采用了一种基于模型预测控制（MPC）的行为生成方法。

给定当前状态 $s$、推断的伙伴意图 $\hat{z}_{partner}$ 和任务目标 $g$，行为生成器求解以下优化问题：

$$a^* = \arg\max_{a \in A} Q(s, a, \hat{z}_{partner}, g)$$

其中 $Q$ 是协作价值函数，评估在给定伙伴意图下执行动作 $a$ 对于完成任务的贡献度。该价值函数通过与伙伴的协作经验不断学习优化。

论文二技术方案

整体架构

该框架采用三阶段处理流程：场景理解、空间检索、精确操作。

第一阶段：场景理解。 输入的视觉信息首先经过VLM处理，提取场景中的物体清单、空间关系描述、操作指令意图等语义信息。同时，视觉编码器提取场景的深度图和点云数据，用于后续的几何分析。

第二阶段：空间检索。 基于第一阶段的语义理解，系统在两个知识库中进行检索：

• 视觉案例库：存储历史操作案例，每个案例包含场景图像、操作指令、成功执行的轨迹等信息。系统通过图像相似度匹配找到与当前场景最相似的历史案例。

• 空间知识库：存储空间概念的结构化定义，如“左侧”、“前方”、“上方”等概念的量化标准。系统通过语义匹配检索相关的空间定义。

第三阶段：几何推理与操作执行。 结合检索结果，几何推理模块计算精确的抓取点和放置位置。这些参数被转换为机器人控制指令，执行具体操作。

关键模块详解

检索增强的VLM调用。 传统的VLM调用方式是直接将图像和文本指令输入模型获取响应。在本框架中，系统先将检索到的相关案例和空间定义作为上下文注入VLM的提示中。这种做法使得VLM能够在丰富的空间上下文背景下进行推理，而非仅依赖其训练时学到的隐含知识。

几何-语义对齐模块。 该模块接收两路输入：一路是VLM输出的语言形式的空间描述（如“目标位置在红色方块的左前方约30度方向”），另一路是几何计算模块基于点云数据得出的精确位置。
对齐模块通过一个可学习的融合网络输出最终的定位结果：

$$P_{final} = \alpha \cdot P_{semantic} + (1-\alpha) \cdot P_{geometric}$$

其中融合权重 $\alpha$ 取决于任务类型。对于需要精确放置的任务（如装配作业），系统自动增加几何权重的贡献；对于模糊语义描述主导的任务（如“放在沙发旁边”），则增加语义权重的贡献。

实验结果分析

论文一实验结果

研究团队在仿真环境和真实机器人平台两个层面验证了所提方法的有效性。

仿真实验涉及两类异构机器人的协作任务：双机械臂协同搬运、单轮式机器人与单机械臂协作装配。实验设置了三种对比方法：基于固定协议的协同、基于通信的实时协调、以及本研究提出的意图对齐方法。

结果显示，在任务成功率方面，意图对齐方法达到92.3%，显著优于固定协议方法（71.5%）和通信协调方法（84.7%）。更重要的是，研究者分析了协作过程中的行为协调质量——通过测量两机器人动作的时间同步性和空间互补性。结果显示，意图对齐方法产生的协作轨迹更加流畅，机器人之间的运动冲突减少了67%。

真实机器人实验使用了两种商业机械臂（UR5和Franka Emika Panda）进行协同搬运测试。两款机械臂的负载能力、运动速度和控制接口各不相同，属于典型的异构协作场景。实验结果表明，经过意图对齐训练后，这两款原本难以协同的机器人能够稳定完成协作任务，成功率达到89.5%，平均协作周期时间为3.2秒。

研究团队还进行了消融实验，分析各模块的贡献。结果表明，跨机器人意图推断网络贡献了约45%的性能提升，意图表示学习贡献了约35%，自适应行为生成贡献了约20%。

论文二实验结果

实验在三种不同复杂度的机器人操作任务上评估了检索增强框架的性能：物体抓取、场景重排列、多物体协同操作。

物体抓取任务测试框架对空间指令的理解能力。实验设置了一系列需要精确空间推理的抓取场景，如“抓取红色盒子左边最近的物体”、“抓取绿色托盘上方10厘米处的物体”。结果显示，检索增强框架在102个测试场景中的平均成功率为91.2%，相比基线VLM方法（67.8%）提升了23.4个百分点。

场景重排列任务要求机器人根据语言指令重新排列桌面物体。测试样本包含102种不同的重排指令，涉及多种空间关系概念。实验表明，框架对“左侧”、“右侧”、“前方”等简单空间概念的理解准确率达到96%，对“左前方”、“正上方”等复合概念的理解准确率为88%，对“斜对角”、“顺时针方向”等复杂概念的理解准确率为79%。

多物体协同操作任务要求机器人连续执行多个需要空间推理的操作步骤。实验设置的最长任务链包含7个操作步骤，每一步都涉及空间指令的理解与执行。结果显示，框架能够稳定完成平均5.8步的操作链，表明其具备处理长程空间推理的能力。

消融实验揭示了检索增强机制的关键作用。仅使用视觉检索时，性能提升为14.3%；仅使用语言检索时，性能提升为11.7%；两者结合使用时，性能提升达到23.4%。这一结果表明，两种检索通道存在互补效应。

优势与不足

主要优势

论文一的优势

首先，意图对齐方法实现了真正的去中心化协作。与依赖中心节点的方法相比，该方法不存在单点故障风险，系统鲁棒性显著提升。当协作伙伴数量增加时，该方法仍能保持良好的可扩展性，因为每个机器人只需要推断其直接协作对象的意图，不需要全局协调。

其次，该方法具有良好的适应性。面对新类型的协作伙伴，机器人可以通过观察和学习快速适应，无需重新编程或手动配置参数。这种在线学习能力使得系统能够应对动态变化的协作伙伴组合。

第三，意图表示的紧凑性使得通信开销大幅降低。与需要传输完整行为轨迹或详细任务规划的传统方法相比，意图向量的传输只需要极少的带宽资源，这在网络条件受限的多机器人场景中具有重要意义。

论文二的优势

检索增强框架巧妙地调和了VLM的泛化能力与专用空间推理的精确性之间的矛盾。通过引入外部知识库，框架无需重新训练VLM即可获得强大的空间推理能力，大幅降低了应用门槛和计算成本。

模块化的架构设计使得框架具有良好的可扩展性。新的空间概念可以通过更新知识库而非重新训练模型来添加，便于在实际应用中不断扩充能力边界。

几何-语义对齐机制使框架能够根据任务需求自适应调整推理策略。对于需要精确操作的任务，框架自动偏向几何计算；对于语义模糊的任务，则充分利用VLM的语言理解能力。

不足与局限

论文一的局限

意图推断网络的性能高度依赖于对协作伙伴行为的观察质量。在遮挡严重或观察视角受限的环境中，意图推断的准确率会显著下降。此外，该方法目前主要验证于行为模式相对规律的协作任务，对于高度动态、非结构化的协作场景，其效果尚需进一步验证。

当前实验主要关注两机器人协作场景，对于多机器人（超过两个）的复杂协作网络，意图推断的计算复杂度和推理准确性面临更大挑战。

论文二的局限

检索增强框架的性能受限于知识库的质量和覆盖度。对于知识库中未收录的空间概念，框架的空间推理能力将大打折扣。构建和维护高质量的空间知识库需要大量人工投入，这是该方法实际部署时需要解决的关键问题。

此外，当前框架的操作执行仍然依赖传统的运动规划和控制方法，未能充分利用VLM在动作规划方面的潜力。在需要复杂操作序列的任务中，这种分离式架构可能成为性能瓶颈。

未来研究方向

论文一未来方向

多层次意图建模是一个重要拓展方向。当前的意图表示较为扁平，未来可以引入层次化、结构化的意图表示，以捕捉机器人行为的复杂动机结构。例如，将意图分解为任务层意图（做什么）、策略层意图（怎么做）和执行层意图（具体动作），有望提升意图推断的准确性和可解释性。

人机协作意图对齐是另一个极具价值的研究方向。将意图对齐框架从机器人-机器人协作扩展到人-机器人协作场景，使机器人能够理解并适应人类协作伙伴的意图和行为习惯，有望大幅提升人机协作的自然性和效率。

长期协作学习也值得关注。当前的实验主要验证短期协作任务中的意图对齐效果。未来研究可以探索在长期持续协作中，机器人如何通过累积协作经验不断优化意图推断能力，实现“越来越默契”的协作效果。

论文二未来方向

主动空间学习是一个前沿探索方向。当前框架依赖静态的知识库，未来可以引入主动学习机制，使框架能够从操作失败中自动发现知识盲区，并通过交互式学习不断补充和完善空间知识库。

端到端VLM-机器人融合是另一个重要方向。当前的分离式架构虽然降低了应用门槛，但也限制了VLM与机器人控制系统的深度整合。未来研究可以探索如何设计VLM与机器人控制系统之间的可微分接口，实现从感知到动作的端到端学习。

多模态空间推理也值得关注。除了视觉和语言，空间推理还可以利用触觉、力反馈等多模态信息。探索如何将多模态感知与VLM的语言理解能力相结合，构建更全面的空间认知系统，是一个具有广阔前景的研究方向。

编辑点评

两篇论文分别从多机器人协同和人机协作的角度切入，回应了机器人领域两个核心挑战：如何实现异构系统的无缝协作，以及如何让机器人具备精确的空间推理能力。

论文一提出的意图对齐框架令人耳目一新。与其追求让所有机器人“说同一种语言”，不如让它们学会“读懂彼此的心声”。这种去中心化的协作范式有望大幅提升多机器人系统的部署灵活性和环境适应性。特别是跨机器人意图推断网络的设计，成功解决了异构系统协作的核心难题，为构建通用多机器人协作框架提供了新思路。

论文二的检索增强框架则体现了务实的工程智慧。面对VLM在空间推理方面的固有局限，作者没有执着于重新训练或架构改造，而是巧妙地引入外部知识库作为补充。这种“让专业的做专业的事”的设计理念，既保证了空间推理的精确性，又充分利用了VLM的语义理解能力，为VLM在机器人领域的应用提供了可复用的解决框架。

两项工作共同指向一个趋势：未来的智能机器人系统将越来越多地依赖学习和知识整合而非硬编码规则。这一趋势与当前人工智能领域“从规则到学习”的大方向高度一致，也预示着机器人研究正迎来范式转换的关键节点。该研究方向与多智能体系统、具身智能等前沿领域高度交叉，也是当前相关EI会议的重要征稿方向之一。