超节点概念的提出与发展
2024年3月，英伟达创始人黄仁勋在GTC上率先提出了「超节点」概念，展示了英伟达NVL72系列将36个Grace CPU和72个Blackwell GPU「装」进液冷机柜。与传统模式不同，「超节点」通过高速互联技术，将大量GPU、CPU整合为单个物理节点。但起初，「超节点」未迅速成为风口，NVL72系列还因「散热问题」推迟交付，遭媒体质疑。后来，巨头们用「千卡、万卡乃至百万卡AI集群」的行动，表达了对「超节点」的追捧。马斯克为xAI找黄仁勋加价插队下单1600台GB200 NVL72服务器机柜，还和甲骨文董事长拉里·埃里森请黄仁勋吃饭。两年后，黄仁勋辟谣称他们只需正常下单，如今巨头们求的是装着芯片的AI机柜。今年7月，英伟达硬件工程高级副总裁Andrew Bell透露，通过与十家制造伙伴合作，每天最高能产出1000个Vera Rubin机柜。
超节点在中国的发展
距离黄仁勋提出「超节点」一年后，华为推出自家超节点CloudMatrix 384，14个机柜连接384张卡，卡数是NVL72的5倍多，占地面积是其16倍，且以量取胜能弯道超车。据Semianalysis拆解，单个CloudMatrix 384集群BF16性能总体是NVL72的1.7倍，总内存容量是3.6倍，总内存带宽为2.1倍。华为掀起的「超节点火」，在随后一年多里被国产算力生态重视，仅在WAIC上就有20多家企业发布相关方案。
超节点是被逼出来的创新
超节点是在摩尔定律逼近极限锁死单颗芯片性能上限，大模型参数竞争推高算力需求的背景下产生的。在杨植麟和月之暗面用近3万亿参数的Kimi K3影响硅谷模型生态时，阿里云宣称其灵骏真武M890超节点在Day0就适配了Kimi K3，Kimi K3部署在64张平头哥真武M890组成的超节点上。Kimi在技术报告中表明，大模型Scaling不仅未饱和，部署前后都需投入算力。其总结了大模型Scaling的两条路：部署前预训练阶段，投入更多参数和数据，模型更智能；部署后在后训练和推理阶段，持续投入算力，模型深度思考能力更强。当前，模型参数规模「军备竞赛」未停，以每年10倍速度增长，算力集群规模也迈向更高等级。传统算力集群用横向扩展方式构建千卡、万卡集群，但存在通信、功耗、复杂度三堵墙。超节点采用纵向扩展策略，将分散芯片整合为逻辑统一的「超级大芯片」，实现协同高速计算，其单节点由多台服务器和网络设备组成。超节点可缩短大模型训练周期，降低部署和运维难度。对于国产厂商而言，超节点是务实选择，可弥补单卡差距，有券商称其为中国AI的「韬定律」。
超节点是诱人的蛋糕
尽管黄仁勋最先提出概念，硅谷大厂AI集群火热，但英伟达下一代AI机柜量产交付时间受问题影响。如原计划2023年下半年推出的Kyber NVL144机架架构，因制造工艺问题推迟至2028年。同时，马斯克的xAI、扎克伯格的Meta出租算力，引发市场对算力租赁商成长性的质疑和「算力是否建设过度」的讨论。相反，中国各类超节点方案涌现，有厂商称今年为「中国超节点元年」。中国厂商积极布局超节点有三股推动力量：一是国产芯片厂商，超节点提供跳出与英伟达「比单卡性能」的思路，还为国产芯片提供练兵场，可绑定上下游产业链；二是国产大模型厂商，不同厂商意图不同，全栈厂商能实现芯片与模型的良性循环，还可将超节点以云服务形式提供；三是国产服务器厂商，超节点让他们有翻身机会，交付单元从单台到整柜，工程复杂度和利润空间都增加，部分厂商还转变商业模式。
超节点大规模落地面临挑战
黄仁勋在台北电脑展喊话后，Vera Rubin被媒体报道延期交付，这表明超节点技术和商业化落地难度大。第一道关是连接问题，全球Scale Up协议生态开放但割裂、碎片化，不同厂商有各自协议，且物理介质存在电互连和光互连的技术路线分化，英伟达押注CPO技术，中国超节点也开始尝试光互连技术。第二道关是供电和冷却问题，需要更先进的供电和冷却系统。还有一道关是国产芯片端，晶圆厂产能能否满足客户大单和高预期有待考验。总之，超节点虽因创新和务实而火，但距离规模化落地、挑战英伟达还有很长路要走。