Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot 上手指南一张表选对量化版本三步跑通 ComfyUI 视觉语言生成【免费下载链接】Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot项目地址: https://ai.gitcode.com/hf_mirrors/ethanfel/Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot不知道你有没有过这样的经历兴冲冲想在本机跑一个看得懂图片、写得出文案的大模型结果在下载页面愣住了——同一套模型塞了 8 个文件有全精度的、有 INT8 的、还有一堆看着差不多的尾部。下载哪个放哪里装完会不会爆显存今天要讲的Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot项目就是专门为 ComfyUI 用户打包的一套视觉语言模型组件。它把理解和生成拆开成两段交付还提供了从 BF16 全精度到 INT8 量化的多档选择。这篇文章不堆术语就带你从头到尾理清楚它是什么、为什么这样设计、你该选哪个文件、装好之后怎么用。先别急着下载你遇到的其实是三个问题很多第一次接触这类模型的人卡住的点其实就那么几个文件太多不知道互相什么关系——明明是一个模型为什么拆成编码器和尾部格式太多不知道怎么选——BF16、INT8 ConvRot、NVFP4/AWQ翻译成人话是什么装完用不起来——ComfyUI 里该用哪个节点加载节点之间怎么连线这篇文章就是围绕这三个问题展开的。我先把结论放在这里这套模型的核心思路是把一个 32B 的大家伙切成前 50 层和后 14 层两段前者负责把图片和文字读进来、想清楚后者负责组织语言、说出结果。理解了这条主线后面所有选择都顺理成章了。项目到底打包了什么先认认这两样东西这个仓库本身不是一个需要训练的项目而是一组已经处理好的模型权重文件全部面向 ComfyUI 工作流。它包含两大类东西组件类别作用包含内容H3 条件编码器把图像和文本读进来并压缩成条件特征词嵌入、语言层 0–49、完整视觉塔生成尾部把条件特征翻译成自然语言输出语言层 50–63、最终归一化层、LM 头其中 H3 是 ComfyUI 生态里一种条件编码方案——它直接读取第 49 层语言层输出的未归一化隐藏状态来干活。也就是说这份条件编码器是专门为 H3 工作流裁剪过的保留了前 50 层语言层和整套视觉塔故意去掉了语言层 50–63、最终语言归一化和 LM 头。至于生成尾部它不能独立工作必须挂在前面的条件编码器后面使用因为它要复用条件编码器里的分词器、词嵌入、视觉塔和前 50 层。用人脑分工理解为什么要把模型拆成两段这里用一个很生活化的比喻帮你看懂架构设计前 50 层条件编码器就像人的左脑 眼睛——负责看图、读字、理解意思把输入变成一段有意义的想法在技术上叫条件向量。后 14 层生成尾部就像人的嘴巴 右脑——负责把那个想法组织成一句句完整的话说出来。为什么要拆开两个很实际的原因显存友好32B 的模型全量加载非常吃内存。拆成两段后你可以只常驻加载前 50 层做编码需要生成时再临时把后 14 层挂上来生成完马上卸载条件编码器始终占着内存不被影响。组合灵活同一个大脑前半段可以搭配来自不同系列的后半段比如 Ultra Heretic 系列或原版 Instruct 系列想换生成风格只换尾部就行。八个文件一张表看懂哪个文件是干嘛的仓库里所有文件分为两个编码器 五个尾部外加一个校验清单文件。我把关键信息整理成一张总表文件类别格式大小一句话定位qwen3vl_32b_h3_ultra_uncensored_heretic_bf16.safetensors条件编码器BF16 全精度47.97 GiB精度顶配内存充足者首选qwen3vl_32b_h3_ultra_uncensored_heretic_int8_convrot.safetensors条件编码器INT8 ConvRot24.55 GiB体积减半的量化编码器qwen3vl_32b_h3_ultra_uncensored_heretic_generation_tail_50_63_bf16.safetensors生成尾部BF1614.16 GiB与 Heretic 编码器同系列的全精度尾部qwen3vl_32b_h3_generation_tail_50_63_int8_convrot.safetensors生成尾部INT8 ConvRot7.09 GiB同系列的量化尾部qwen3vl_32b_h3_instruct_generation_tail_50_63_bf16.safetensors生成尾部BF1614.16 GiB原版 Instruct 系列全精度尾部qwen3vl_32b_h3_instruct_generation_tail_50_63_int8_convrot.safetensors生成尾部INT8 ConvRot7.09 GiB原版 Instruct 系列量化尾部qwen3vl_32b_h3_instruct_generation_tail_50_63_nvfp4_awq.safetensors生成尾部NVFP4/AWQ5.03 GiB极致压缩50 系列显卡友好大小按 1 GiB 1024³ 字节换算四舍五入后展示。细心的你可能发现了两条尾巴分别来自两个源系列——Ultra Heretic也就是本项目的底子和 Qwen3-VL-32B-Instruct原版。这意味着你既可以用 Heretic 系全套也可以把 Heretic 编码器嫁接到 Instruct 系尾部上自由度很高。如何选出最适合你的量化版本决策指南选版本不用纠结按下面三条原则对号入座就行显卡显存 ≥ 48 GB 且追求极致精度→ 直接选BF16 条件编码器它是用来生成 INT8 版本的母版质量最完整包含 902 个 BF16 张量。显存紧张32 GB 级别→ 选INT8 ConvRot 条件编码器。体积从 47.97 GiB 压到 24.55 GiB语言矩阵用 350 个行式 INT8 ConvRot 矩阵分组大小 256表示视觉塔和所有归一化层仍保留 BF16实际跑起来大约占用 24.7 GiB 显存验证时 32 GB 显存的 RTX 5090 完全吃得下。想要最省空间、又是 50 系新卡→ 尾部可以选NVFP4/AWQ版本只有 5.03 GiBLM 头和归一化层保留 BF16已在 RTX PRO 6000 Blackwell 上实测通过。一句话总结钱/显存够就 BF16不够就 INT8 ConvRot极端省空间就 NVFP4/AWQ。量化确实会带来轻微质量损耗但项目在转换时用的是带优化器的 AdaRound 方式而非简单四舍五入损失被控制在很小的范围内详见后文质量数据。三步把它装进 ComfyUI 工作流如果你只用它在 ComfyUI 里做图像 文本的条件生成安装过程非常简单第 1 步放文件把你选好的条件编码器和可选生成尾部放到这个目录下ComfyUI/models/text_encoders/H3/第 2 步加载在CLIPLoader节点里把文本编码器类型选成H3 兼容的类型然后加载你放进去的 0–49 条件检查点。第 3 步确认环境建议使用最新版 ComfyUI 代码库并保持其固定的comfy-kitchen依赖版本。整个项目在 ComfyUI commit14b05228、comfy-kitchen0.2.26、PyTorch2.8.0cu128的环境下完成了实机验证。让提示词更给力H3 提示增强器这样接线ComfyUI 的常规工作流里想对用户输入的提示词做二次加工可以用H3 Prompt Enhancer (optional CLIP tail)节点。接线方式如下用标准CLIPLoader加载 0–49 条件检查点H3 兼容编码器类型把这个 CLIP 输出接到H3 Prompt Enhancer的输入上在节点的clip_tail下拉菜单里选择你要用的 50–63 尾部文件把节点输出的enhanced_prompt增强后的提示词和原封不动返回的clip一起接到正常的 H3 指南节点上。一个值得注意的小技巧如果你接入的 CLIP 本身已经是完整可生成模型就把clip_tail保持为[none — connected CLIP is already complete]。此时增强器会直接调用该 CLIP 自带的普通生成路径根本不会加载额外的尾部省事又省显存。甩开复杂工作流把它变成独立的本地生成器不想每次都搭 H3 提示指南节点没问题。配合ComfyUI-H3-Qwen3VL-TextGen自定义节点包你可以把这套编码器 尾部组合成一个开箱即用的独立本地文本 / 视觉语言生成器完全不需要额外的提示指南节点包。节点连接示意如下Load CLIP (H3 0–49 encoder) ── clip ──────┐ ├─ H3 Qwen VL Generate Text (Standalone) H3 Qwen VL Generation Tail Loader ─ tail_clip ─┘ Optional IMAGE batch ───────────── image ─┘操作一共五步把 TextGen 仓库安装或软链接到ComfyUI/custom_nodes目录下把条件编码器和选定的generation_tail_50_63文件放进ComfyUI/models/text_encoders用 ComfyUI 标准的Load CLIP节点加载条件编码器用H3 Qwen VL Generation Tail Loader选择尾部把clip和tail_clip两个输出都接到H3 Qwen VL Generate Text (Standalone)上。这个独立节点支持编辑系统提示词和用户提示词、可选的图像批量输入、确定性或随机采样解码还支持 Qwen 的思考模式。生成结束后节点只显式卸载临时挂载的尾部基础 CLIP 始终保持原样。常见问题快答Q1生成尾部能单独下载使用吗不能。尾部只包含语言层 50–63、最终归一化和 LM 头它没有分词器、词嵌入和视觉塔必须与条件编码器配合才能工作。Q2条件编码器为什么没有头因为 H3 设计上只吃第 49 层之后的隐藏状态来做条件编码根本用不到 LM 头。把它裁掉既省内存又不影响 H3 功能。Q3量化版本质量会不会差很多官方验证给出的数据是Heretic 源模型的拒绝率从原版的 99/100 降到 4/100KL 散度 0.0421PIQA 92.87%MMLU 79.87%。转换过程采用 AdaRound 优化训练而非粗暴取整且视觉塔、所有归一化层共 551 个张量都与 BF16 母版逐字节一致。不过要注意去审查abliteration技术会降低拒答行为但不代表所有安全行为都被移除也可能轻微影响模型质量使用时请自行评估。Q4怎么确认下载的文件没损坏仓库根目录提供了SHA256SUMS校验清单下载后逐一比对哈希值即可尤其是大文件强烈建议校验后再加载。一套经过实战验证的配置参考项目作者是在这套环境下完成全部运行时测试的可以直接参考ComfyUI commit14b05228cef127ce529bc0c08660770d4af3e9a8依赖comfy-kitchen0.2.26、comfy-aimdo0.4.11运行时PyTorch2.8.0cu128NVIDIA GeForce RTX 509032 GB 显存实测结果编码输出为有限值(1, 12, 5120)编码后显存占用约 24.7 GiB已分配/ 26.1 GiB已保留尾部验证挂上尾部后完整走过全部 64 层返回完全相同的 CLIP 对象并卸载卸载后基础模型恰好回到 50 层、无归一化和 LM 头H3 条件编码依然正常如果你的 PyTorch 版本较旧或非官方推荐构建编码可能走 CUDA 12.8 的降级路径虽然也能跑通但建议优先使用 ComfyUI 官方推荐的 PyTorch 构建以获得最佳性能。下一步行动清单想立刻上手按这个顺序操作克隆仓库到本地仓库地址如下或直接在网页端逐个下载需要的文件git clone https://gitcode.com/hf_mirrors/ethanfel/Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot用SHA256SUMS核对文件完整性按显存大小选定1 个编码器 1 个尾部的组合放进ComfyUI/models/text_encoders/H3/用 H3 兼容编码器类型加载想增强提示词就加一个 H3 Prompt Enhancer 节点想独立生成就装 TextGen 节点包。到这里Qwen3-VL-32B 这个 32B 级别的视觉语言模型就已经稳稳跑在你自己的机器上了。别被32B和一堆文件吓住——理解了两段式设计选好量化档位剩下的事 ComfyUI 都会替你搞定。找个喜欢的图片试着写一句提示词去亲手感受一下看图说话带来的乐趣吧。【免费下载链接】Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot项目地址: https://ai.gitcode.com/hf_mirrors/ethanfel/Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot 上手指南：一张表选对量化版本，三步跑通 ComfyUI 视觉语言生成
Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot 上手指南一张表选对量化版本三步跑通 ComfyUI 视觉语言生成【免费下载链接】Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot项目地址: https://ai.gitcode.com/hf_mirrors/ethanfel/Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot不知道你有没有过这样的经历兴冲冲想在本机跑一个看得懂图片、写得出文案的大模型结果在下载页面愣住了——同一套模型塞了 8 个文件有全精度的、有 INT8 的、还有一堆看着差不多的尾部。下载哪个放哪里装完会不会爆显存今天要讲的Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot项目就是专门为 ComfyUI 用户打包的一套视觉语言模型组件。它把理解和生成拆开成两段交付还提供了从 BF16 全精度到 INT8 量化的多档选择。这篇文章不堆术语就带你从头到尾理清楚它是什么、为什么这样设计、你该选哪个文件、装好之后怎么用。先别急着下载你遇到的其实是三个问题很多第一次接触这类模型的人卡住的点其实就那么几个文件太多不知道互相什么关系——明明是一个模型为什么拆成编码器和尾部格式太多不知道怎么选——BF16、INT8 ConvRot、NVFP4/AWQ翻译成人话是什么装完用不起来——ComfyUI 里该用哪个节点加载节点之间怎么连线这篇文章就是围绕这三个问题展开的。我先把结论放在这里这套模型的核心思路是把一个 32B 的大家伙切成前 50 层和后 14 层两段前者负责把图片和文字读进来、想清楚后者负责组织语言、说出结果。理解了这条主线后面所有选择都顺理成章了。项目到底打包了什么先认认这两样东西这个仓库本身不是一个需要训练的项目而是一组已经处理好的模型权重文件全部面向 ComfyUI 工作流。它包含两大类东西组件类别作用包含内容H3 条件编码器把图像和文本读进来并压缩成条件特征词嵌入、语言层 0–49、完整视觉塔生成尾部把条件特征翻译成自然语言输出语言层 50–63、最终归一化层、LM 头其中 H3 是 ComfyUI 生态里一种条件编码方案——它直接读取第 49 层语言层输出的未归一化隐藏状态来干活。也就是说这份条件编码器是专门为 H3 工作流裁剪过的保留了前 50 层语言层和整套视觉塔故意去掉了语言层 50–63、最终语言归一化和 LM 头。至于生成尾部它不能独立工作必须挂在前面的条件编码器后面使用因为它要复用条件编码器里的分词器、词嵌入、视觉塔和前 50 层。用人脑分工理解为什么要把模型拆成两段这里用一个很生活化的比喻帮你看懂架构设计前 50 层条件编码器就像人的左脑 眼睛——负责看图、读字、理解意思把输入变成一段有意义的想法在技术上叫条件向量。后 14 层生成尾部就像人的嘴巴 右脑——负责把那个想法组织成一句句完整的话说出来。为什么要拆开两个很实际的原因显存友好32B 的模型全量加载非常吃内存。拆成两段后你可以只常驻加载前 50 层做编码需要生成时再临时把后 14 层挂上来生成完马上卸载条件编码器始终占着内存不被影响。组合灵活同一个大脑前半段可以搭配来自不同系列的后半段比如 Ultra Heretic 系列或原版 Instruct 系列想换生成风格只换尾部就行。八个文件一张表看懂哪个文件是干嘛的仓库里所有文件分为两个编码器 五个尾部外加一个校验清单文件。我把关键信息整理成一张总表文件类别格式大小一句话定位qwen3vl_32b_h3_ultra_uncensored_heretic_bf16.safetensors条件编码器BF16 全精度47.97 GiB精度顶配内存充足者首选qwen3vl_32b_h3_ultra_uncensored_heretic_int8_convrot.safetensors条件编码器INT8 ConvRot24.55 GiB体积减半的量化编码器qwen3vl_32b_h3_ultra_uncensored_heretic_generation_tail_50_63_bf16.safetensors生成尾部BF1614.16 GiB与 Heretic 编码器同系列的全精度尾部qwen3vl_32b_h3_generation_tail_50_63_int8_convrot.safetensors生成尾部INT8 ConvRot7.09 GiB同系列的量化尾部qwen3vl_32b_h3_instruct_generation_tail_50_63_bf16.safetensors生成尾部BF1614.16 GiB原版 Instruct 系列全精度尾部qwen3vl_32b_h3_instruct_generation_tail_50_63_int8_convrot.safetensors生成尾部INT8 ConvRot7.09 GiB原版 Instruct 系列量化尾部qwen3vl_32b_h3_instruct_generation_tail_50_63_nvfp4_awq.safetensors生成尾部NVFP4/AWQ5.03 GiB极致压缩50 系列显卡友好大小按 1 GiB 1024³ 字节换算四舍五入后展示。细心的你可能发现了两条尾巴分别来自两个源系列——Ultra Heretic也就是本项目的底子和 Qwen3-VL-32B-Instruct原版。这意味着你既可以用 Heretic 系全套也可以把 Heretic 编码器嫁接到 Instruct 系尾部上自由度很高。如何选出最适合你的量化版本决策指南选版本不用纠结按下面三条原则对号入座就行显卡显存 ≥ 48 GB 且追求极致精度→ 直接选BF16 条件编码器它是用来生成 INT8 版本的母版质量最完整包含 902 个 BF16 张量。显存紧张32 GB 级别→ 选INT8 ConvRot 条件编码器。体积从 47.97 GiB 压到 24.55 GiB语言矩阵用 350 个行式 INT8 ConvRot 矩阵分组大小 256表示视觉塔和所有归一化层仍保留 BF16实际跑起来大约占用 24.7 GiB 显存验证时 32 GB 显存的 RTX 5090 完全吃得下。想要最省空间、又是 50 系新卡→ 尾部可以选NVFP4/AWQ版本只有 5.03 GiBLM 头和归一化层保留 BF16已在 RTX PRO 6000 Blackwell 上实测通过。一句话总结钱/显存够就 BF16不够就 INT8 ConvRot极端省空间就 NVFP4/AWQ。量化确实会带来轻微质量损耗但项目在转换时用的是带优化器的 AdaRound 方式而非简单四舍五入损失被控制在很小的范围内详见后文质量数据。三步把它装进 ComfyUI 工作流如果你只用它在 ComfyUI 里做图像 文本的条件生成安装过程非常简单第 1 步放文件把你选好的条件编码器和可选生成尾部放到这个目录下ComfyUI/models/text_encoders/H3/第 2 步加载在CLIPLoader节点里把文本编码器类型选成H3 兼容的类型然后加载你放进去的 0–49 条件检查点。第 3 步确认环境建议使用最新版 ComfyUI 代码库并保持其固定的comfy-kitchen依赖版本。整个项目在 ComfyUI commit14b05228、comfy-kitchen0.2.26、PyTorch2.8.0cu128的环境下完成了实机验证。让提示词更给力H3 提示增强器这样接线ComfyUI 的常规工作流里想对用户输入的提示词做二次加工可以用H3 Prompt Enhancer (optional CLIP tail)节点。接线方式如下用标准CLIPLoader加载 0–49 条件检查点H3 兼容编码器类型把这个 CLIP 输出接到H3 Prompt Enhancer的输入上在节点的clip_tail下拉菜单里选择你要用的 50–63 尾部文件把节点输出的enhanced_prompt增强后的提示词和原封不动返回的clip一起接到正常的 H3 指南节点上。一个值得注意的小技巧如果你接入的 CLIP 本身已经是完整可生成模型就把clip_tail保持为[none — connected CLIP is already complete]。此时增强器会直接调用该 CLIP 自带的普通生成路径根本不会加载额外的尾部省事又省显存。甩开复杂工作流把它变成独立的本地生成器不想每次都搭 H3 提示指南节点没问题。配合ComfyUI-H3-Qwen3VL-TextGen自定义节点包你可以把这套编码器 尾部组合成一个开箱即用的独立本地文本 / 视觉语言生成器完全不需要额外的提示指南节点包。节点连接示意如下Load CLIP (H3 0–49 encoder) ── clip ──────┐ ├─ H3 Qwen VL Generate Text (Standalone) H3 Qwen VL Generation Tail Loader ─ tail_clip ─┘ Optional IMAGE batch ───────────── image ─┘操作一共五步把 TextGen 仓库安装或软链接到ComfyUI/custom_nodes目录下把条件编码器和选定的generation_tail_50_63文件放进ComfyUI/models/text_encoders用 ComfyUI 标准的Load CLIP节点加载条件编码器用H3 Qwen VL Generation Tail Loader选择尾部把clip和tail_clip两个输出都接到H3 Qwen VL Generate Text (Standalone)上。这个独立节点支持编辑系统提示词和用户提示词、可选的图像批量输入、确定性或随机采样解码还支持 Qwen 的思考模式。生成结束后节点只显式卸载临时挂载的尾部基础 CLIP 始终保持原样。常见问题快答Q1生成尾部能单独下载使用吗不能。尾部只包含语言层 50–63、最终归一化和 LM 头它没有分词器、词嵌入和视觉塔必须与条件编码器配合才能工作。Q2条件编码器为什么没有头因为 H3 设计上只吃第 49 层之后的隐藏状态来做条件编码根本用不到 LM 头。把它裁掉既省内存又不影响 H3 功能。Q3量化版本质量会不会差很多官方验证给出的数据是Heretic 源模型的拒绝率从原版的 99/100 降到 4/100KL 散度 0.0421PIQA 92.87%MMLU 79.87%。转换过程采用 AdaRound 优化训练而非粗暴取整且视觉塔、所有归一化层共 551 个张量都与 BF16 母版逐字节一致。不过要注意去审查abliteration技术会降低拒答行为但不代表所有安全行为都被移除也可能轻微影响模型质量使用时请自行评估。Q4怎么确认下载的文件没损坏仓库根目录提供了SHA256SUMS校验清单下载后逐一比对哈希值即可尤其是大文件强烈建议校验后再加载。一套经过实战验证的配置参考项目作者是在这套环境下完成全部运行时测试的可以直接参考ComfyUI commit14b05228cef127ce529bc0c08660770d4af3e9a8依赖comfy-kitchen0.2.26、comfy-aimdo0.4.11运行时PyTorch2.8.0cu128NVIDIA GeForce RTX 509032 GB 显存实测结果编码输出为有限值(1, 12, 5120)编码后显存占用约 24.7 GiB已分配/ 26.1 GiB已保留尾部验证挂上尾部后完整走过全部 64 层返回完全相同的 CLIP 对象并卸载卸载后基础模型恰好回到 50 层、无归一化和 LM 头H3 条件编码依然正常如果你的 PyTorch 版本较旧或非官方推荐构建编码可能走 CUDA 12.8 的降级路径虽然也能跑通但建议优先使用 ComfyUI 官方推荐的 PyTorch 构建以获得最佳性能。下一步行动清单想立刻上手按这个顺序操作克隆仓库到本地仓库地址如下或直接在网页端逐个下载需要的文件git clone https://gitcode.com/hf_mirrors/ethanfel/Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot用SHA256SUMS核对文件完整性按显存大小选定1 个编码器 1 个尾部的组合放进ComfyUI/models/text_encoders/H3/用 H3 兼容编码器类型加载想增强提示词就加一个 H3 Prompt Enhancer 节点想独立生成就装 TextGen 节点包。到这里Qwen3-VL-32B 这个 32B 级别的视觉语言模型就已经稳稳跑在你自己的机器上了。别被32B和一堆文件吓住——理解了两段式设计选好量化档位剩下的事 ComfyUI 都会替你搞定。找个喜欢的图片试着写一句提示词去亲手感受一下看图说话带来的乐趣吧。【免费下载链接】Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot项目地址: https://ai.gitcode.com/hf_mirrors/ethanfel/Qwen3-VL-32B-Ultra-Heretic-H3-ComfyUI-INT8-ConvRot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考