腾讯混元Hy3-FP8：295B参数MoE大模型完全指南

腾讯混元Hy3-FP8：295B参数MoE大模型完全指南

【免费下载链接】Hy3-FP8项目地址: https://ai.gitcode.com/tencent_hunyuan/Hy3-FP8

腾讯混元Hy3-FP8是一款由腾讯混元团队开发的295B参数混合专家（MoE）模型，具备21B活跃参数和3.8B MTP层参数。作为Hy3预览版的升级版，它在50+产品反馈基础上优化了训练数据质量与多样性，性能超越同规模模型，甚至可媲美2-5倍参数量的开源旗舰模型，在各类产品和生产力任务中展现出显著价值。

模型核心架构解析

Hy3-FP8采用先进的混合专家架构，通过动态路由机制实现计算资源的高效利用。其核心参数配置如下：

这一架构设计使Hy3-FP8在保持高性能的同时，显著降低了计算资源消耗，特别适合大规模部署和应用。

卓越的性能表现

Hy3-FP8在推理、智能体能力和长上下文任务上均实现了显著提升，与更大规模的旗舰模型相比也具有竞争力。

在编码、办公、金融建模、前端设计和游戏开发等生产力场景中，Hy3-FP8取得了显著进步，已成为可靠且经济高效的模型选择。值得注意的是，在270位专家参与的盲测中，Hy3-FP8以2.67/4的得分超过GLM-5.1的2.51/4，尤其在前端开发、数据存储和CI/CD任务中优势明显。

详细基准测试数据

以下是Hy3-FP8在各类基准测试中的详细表现：

这些数据充分展示了Hy3-FP8在多语言处理、代码生成、搜索能力、推理任务等多个维度的卓越性能。

更可靠的产品体验

基于广泛的产品反馈，Hy3-FP8针对实际应用中的关键问题进行了优化，获得了产品团队的一致好评：

工具调用和输出格式稳定性

修复了多个基线可靠性问题，使模型在各种工具配置和输出约束下达到生产级标准。工具调用错误恢复能力和整体效率得到提升，且能很好地适应不同的智能体框架。在SWE-Bench Verified测试中，不同框架（如CodeBuddy、Cline和KiloCode）间的准确率差异保持在4%以内。

知识准确性与抗幻觉能力

遵循"有根据才回答，证据不足则说明，不混淆来源或编造数据"的原则，实施了细粒度的数据清洗和训练约束。在基于真实场景的内部评估中，Hy3-FP8的幻觉率从12.5%降至5.4%，常识错误率从25.4%降至12.7%，显著减少了事实混淆、编造和逻辑矛盾。

复杂上下文保留与多轮意图跟踪

通过SFT和RL的联合优化，Hy3-FP8改善了指代消解、省略恢复和多轮约束继承等操作痛点。在内部综合多轮测试中，问题率从17.4%降至7.9%。在MRCR等长对话评估中也有显著提升，输出更加简洁，同时确保复杂意图在长期交互中不衰减或漂移。

快速开始使用Hy3-FP8

要开始使用Hy3-FP8，首先需要使用vLLM或SGLang进行部署，然后调用兼容OpenAI的API：

from openai import OpenAI client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY") response = client.chat.completions.create( model="hy3", messages=[ {"role": "user", "content": "Hello! Can you briefly introduce yourself?"}, ], temperature=0.9, top_p=1.0, # reasoning_effort: "no_think" (default, direct response), "low", "high" (deep chain-of-thought) extra_body={"chat_template_kwargs": {"reasoning_effort": "no_think"}}, ) print(response.choices[0].message.content)

推荐参数：temperature=0.9，top_p=1.0。

推理模式：对于复杂任务（数学、编码、推理），将reasoning_effort设置为"high"；对于直接响应，设置为"no_think"。

模型部署指南

Hy3-FP8总共有295B参数。要在8个GPU上提供服务，建议使用H20-3e或其他内存容量更大的GPU。

对于生产环境部署，推荐使用vLLM或SGLang，两者都为Hy3提供了专门的部署方案：

• vLLM - 参见vLLM recipes
• SGLang - 参见SGLang cookbook

使用vLLM部署

从源代码构建vLLM：

uv venv --python 3.12 --seed --managed-python source .venv/bin/activate git clone https://github.com/vllm-project/vllm.git cd vllm uv pip install --editable . --torch-backend=auto

启动启用MTP的vLLM服务器：

# 切换到trtllm后端以解决mnnvl工作区大小问题。 export VLLM_FLASHINFER_ALLREDUCE_BACKEND=trtllm vllm serve tencent/Hy3-FP8 \ --tensor-parallel-size 8 \ --speculative-config.method mtp \ --speculative-config.num_speculative_tokens 2 \ --tool-call-parser hy_v3 \ --reasoning-parser hy_v3 \ --enable-auto-tool-choice \ --port 8000 \ --served-model-name hy3

使用SGLang部署

从源代码构建SGLang：

git clone https://github.com/sgl-project/sglang cd sglang pip3 install pip --upgrade pip3 install "transformers>=5.6.0" pip3 install -e "python"

启动启用MTP的SGLang服务器：

python3 -m sglang.launch_server \ --model tencent/Hy3-FP8 \ --tp-size 8 \ --tool-call-parser hunyuan \ --reasoning-parser hunyuan \ --speculative-num-steps 2 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 3 \ --speculative-algorithm EAGLE \ --port 8000 \ --served-model-name hy3

模型微调教程

Hy3提供了完整的模型微调流程。详细文档请参考：微调指南

训练数据格式与处理

Hy3支持"慢思考"和"快思考"两种模式。默认情况下，模型以慢思考模式输出。如果希望模型使用快思考模式，可以通过reasoning_effort参数控制（选项：high、low、no_think）。

训练数据应格式化为消息列表。默认情况下，训练和推理的系统提示为空，但您可以根据需要自定义。

# 快思考模式 (no_think) {"reasoning_effort": "no_think", "messages": [{"content": "You are a helpful assistant.\nThe current time is 2026-01-01 13:26:12 Thursday", "role": "system"}, {"content": "1+1=?", "role": "user"}, {"role": "assistant", "content": "1+1=2"}]} # 慢思考模式 (high) {"reasoning_effort": "high", "messages": [{"content": "You are a helpful assistant.\nThe current time is 2026-01-01 13:26:12 Thursday", "role": "system"}, {"content": "1+1=?", "role": "user"}, {"role": "assistant", "content": "1+1=2", "reasoning_content": "The user is asking for the result of 1 + 1. In basic decimal arithmetic, 1 + 1 equals 2."}]}

微调方法选择

本项目提供三种训练方法，您可以根据需求选择：

• DeepSpeed原生训练（基于HuggingFace Transformers Trainer）：位于finetune/deepspeed_support目录
• LLaMA-Factory训练：位于finetune/llama_factory_support目录
• ms-swift训练：位于finetune/ms_swift_support目录

硬件要求

根据测试，当禁用make_moe_param_leaf_module和zero3+offload且max_seq_length设置为4096时：

• LoRA微调：至少需要一台配备8个GPU的机器（每个GPU至少80GB内存）。
• 全量微调：至少需要4台配备32个GPU的机器（每个GPU至少80GB内存）。

模型量化

我们提供了AngelSlim，这是一个更易用、全面且高效的大模型压缩工具包。AngelSlim支持大规模多模态模型的全面压缩工具，包括常见的量化算法、低位量化和投机采样。

获取模型

要获取Hy3-FP8模型，您可以通过以下方式克隆仓库：

git clone https://gitcode.com/tencent_hunyuan/Hy3-FP8

许可证

Hy3以Apache License 2.0许可证发布。详情请参见LICENSE。

联系我们

如果您想给我们的研发和产品团队留言，欢迎联系我们。您也可以通过电子邮件与我们联系：

📧hunyuan_opensource@tencent.com

【免费下载链接】Hy3-FP8项目地址: https://ai.gitcode.com/tencent_hunyuan/Hy3-FP8