HY-Embodied-0.5-X核心技术解析：从MoT-2B架构到边缘部署的完整指南

HY-Embodied-0.5-X核心技术解析：从MoT-2B架构到边缘部署的完整指南

【免费下载链接】HY-Embodied-0.5-X项目地址: https://ai.gitcode.com/tencent_hunyuan/HY-Embodied-0.5-X

HY-Embodied-0.5-X是由腾讯Robotics X与HY Vision团队联合发布的增强型开源具身基础模型，基于HY-Embodied-0.5 MoT-2B架构（总参数40亿，仅激活20亿）构建，专为现实世界机器人的核心循环——"理解、推理、行动"优化。该模型在10个主流具身任务规划基准上达到了最先进的性能，在7个基准上位列边缘侧领域模型第一。

🧠 MoT-2B架构：高效能具身智能的核心

MoT-2B（Mixture-of-Transformers 2B）架构是HY-Embodied-0.5-X的核心，它通过创新的混合Transformer设计实现了高性能与边缘部署的平衡。从config.json中可以看到，该架构具有以下关键特性：

• 参数效率：总参数40亿，但仅激活20亿，在保持性能的同时大幅降低计算需求
• 架构配置：16个注意力头，32个隐藏层，隐藏层大小2048，中间层大小6144
• 优化设计：采用RMS归一化、动态RoPE缩放和QK归一化等技术提升模型能力
• 多模态支持：通过im_start_id、im_end_id等特殊标记实现图像与文本的无缝融合

这种架构设计使模型能够在有限的计算资源下实现强大的空间理解和长 horizon 规划能力，为边缘设备上的实时具身交互奠定了基础。

🔥 四大核心特性：从"看到"到"做到"的飞跃

HY-Embodied-0.5-X在MoT-2B架构基础上，针对现实世界机器人交互的关键问题进行了专门优化：

1. 更强的空间理解能力

准确推理物体位置、场景布局、相对空间关系和操作状态，为动作决策提供可靠的感知基础。这一能力使机器人能够在复杂环境中精确定位物体，理解物体间的空间关系，从而做出合理的操作决策。

2. 更强的长 horizon 规划能力

处理多步骤、强依赖的复杂任务，在连续交互中产生稳定的任务分解、动作规划和执行决策。无论是家庭服务还是桌面操作，这种能力都能确保机器人能够完成需要多步操作的复杂任务。

3. 更强的具身交互能力

超越视觉理解和对话，支持任务解析、参考消解、动作决策、风险判断和失败反思，紧密匹配真实机器人交互循环。这意味着机器人不仅能理解环境，还能根据环境动态调整自己的行为。

4. 边缘友好设计

基于MoT-2B架构（总40亿/激活20亿），适合设备端部署和实时响应。这一特性使得HY-Embodied-0.5-X能够在资源有限的边缘设备上高效运行，为实际应用提供了可能。

🛠️ 快速上手：从安装到推理

环境要求

在开始使用HY-Embodied-0.5-X之前，请确保你的环境满足以下要求：

安装步骤

首先安装特定的transformers commit，然后安装PyTorch和其他依赖：

pip install git+https://github.com/huggingface/transformers@9293856c419762ebf98fbe2bd9440f9ce7069f1a pip install torch==2.10.0 torchvision==0.25.0 --index-url https://download.pytorch.org/whl/cu126 pip install accelerate safetensors Pillow

快速推理示例

使用transformers进行最小化单图像推理：

import torch from transformers import AutoModelForImageTextToText, AutoProcessor MODEL_PATH = "tencent/HY-Embodied-0.5-X" DEVICE = "cuda" THINKING_MODE = True TEMPERATURE = 0.05 processor = AutoProcessor.from_pretrained(MODEL_PATH) model = AutoModelForImageTextToText.from_pretrained( MODEL_PATH, torch_dtype=torch.bfloat16, ).to(DEVICE).eval() messages = [ { "role": "user", "content": [ {"type": "image", "image": "./demo.jpg"}, {"type": "text", "text": "Describe the image in detail."}, ], } ] inputs = processor.apply_chat_template( messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", enable_thinking=THINKING_MODE, ).to(model.device) with torch.no_grad(): generated_ids = model.generate( **inputs, max_new_tokens=32768, use_cache=True, temperature=TEMPERATURE, do_sample=TEMPERATURE > 0, ) output_ids = [out[len(inp):] for inp, out in zip(inputs.input_ids, generated_ids)] print(processor.batch_decode(output_ids, skip_special_tokens=True)[0])

🔧 模型训练与高级推理

对于SFT微调（单节点/多节点，DeepSpeed ZeRO-2，FSDP）、批量推理、多图像/视频输入、打包的HyEmbodiedPipeline API、CLI入口点、数据格式规范以及发布中使用的完整训练数据混合，请参考官方文档。

最小化微调代码片段（克隆仓库并设置环境后）：

# 在捆绑样本上进行冒烟测试 CUDA_VISIBLE_DEVICES=0 python -m hy_embodied.cli.train \ --config configs/sft/example_small_single_gpu.yaml # 使用DeepSpeed ZeRO-2的1节点×8 GPU bash scripts/run_sft_1node_8gpu.sh

📊 评估结果：具身智能的新高度

HY-Embodied-0.5-X在涵盖规划、空间推理、具身QA、视觉参考和轨迹理解的10个开源基准测试中保持在顶级水平。与同尺寸开源模型相比，它在多项指标上都有显著优势。

特别在内部AI2Thor具身规划基准（四个家庭场景中的1,011个任务）上，HY-Embodied-0.5-X在长horizon操作、自我意识和空间理解方面表现出明显优势。

🎯 应用场景

HY-Embodied-0.5-X的强大能力使其在多个领域具有广泛的应用前景：

家庭服务/桌面操作

在真实环境中进行空间推理、细粒度操作推理、任务理解和失败反思。这意味着未来我们可能会看到基于HY-Embodied-0.5-X的家用机器人能够完成各种复杂的家务。

任务规划与模拟评估

在模拟环境中进行规划评估和多模态交互研究。研究人员可以利用HY-Embodied-0.5-X来开发和测试新的机器人控制算法和交互策略。

本地部署与开发

设备端验证和具身能力的下游开发。HY-Embodied-0.5-X的边缘友好设计使其能够在各种设备上运行，为开发者提供了广阔的创新空间。

🚀 开始使用HY-Embodied-0.5-X

要开始使用HY-Embodied-0.5-X，首先克隆仓库：

git clone https://gitcode.com/tencent_hunyuan/HY-Embodied-0.5-X

然后按照README中的说明设置环境并开始探索这个强大的具身智能模型。无论是研究还是应用开发，HY-Embodied-0.5-X都为你提供了一个从"看到"到"做到"的完整解决方案。

通过开源HY-Embodied-0.5-X，腾讯希望为具身AI社区提供一个更面向部署的基础，推动模型从"一般理解"向"现实世界执行"迈进。我们期待看到开发者们基于这个强大的基础模型创造出更多令人惊叹的应用！

【免费下载链接】HY-Embodied-0.5-X项目地址: https://ai.gitcode.com/tencent_hunyuan/HY-Embodied-0.5-X