Deep Dive
Shownotes Transcript
「从拼单颗芯片的性能，到优化多芯片互联的系统。」
AI 算力，现在是中美都最关注的 AI 底层竞争力。约 1 个月前，华为推出由 384 块昇腾 910 互联而成的/超节点 AI 集群，CloudMatrix 384。
图注：这是超节点发布会上展示的 CloudMatrix 服务器机柜组，如播客中介绍的，一共是 12 台机柜（每台机柜里又有 4 个服务器），中间有光纤、交换机等部件连接。
华为超节点发布后不久，我邀请有 20 多年芯片从业经验的徐凌杰来一起聊一聊这项算力底层的新变化。
自 2000 年代中期，徐凌杰先后在英伟达、AMD 和三星，参与设计 GPU 架构。后来加入阿里云，领导GPU 云计算基础设施的搭建；2019 年与张文等人联合创立国产 GPU 公司壁仞科技；2024 年开始新创业，成立魔形智能，专注 AI 算力集群产品设计和优化。
超节点本身就是一种从拼单芯片性能，到优化整个节点和机架的算力思路变化，徐凌杰的从业经验正好匹配了这一趋势。
本期节目的第一部分，我们聊了华为 CloudMatrix 384 是什么，它和英伟达 2024 年开始重磅推出的集群方案 NVL72 的异同。不止英伟达、华为，把节点做得越来越大，从集群芯片数量要性能，以网络能力弥补计算和存储的瓶颈，已成为算力市场的共识性趋势。
在第二部分，我们则主要讨论了超节点趋势，对英伟达、对其它国产芯片，对整个 AI 算力市场的可能影响，和一个“经典问题”：下一个改变算力格局的变量可能是什么？
节目录制后不久，华为超节点开始出货。据《金融时报》报道，一套完整的 CloudMatrix 384 售价约 800 万美元，是售价约 300 万美元的 NVL72 的 2 倍多。但要注意，这并不是华为的官方价格信息。
5 月 7 日，华为盘古大模型团队又在预印本平台 Arxiv 发表了一篇论文，称在 6000 多块昇腾芯片组成的超大集群上，实现了 7180 亿（718B）参数 MoE 模型的长期稳定训练。
本期嘉宾： 徐凌杰，魔形智能CEO，邮箱：[email protected])
时间线跳转： - 华为 Cloud 384 集群 & 把节点做大的趋势 03:15 CloudMatrix 384 是什么？Scale up vs Scale out 08:33 算力底层构成，不止 GPU，还有互联、网络、冷却等综合系统 11:09 NVLink、NVSwitch 是英伟达的另一重壁垒，69 亿美元收购 Mellanox 前后开始布局 18:22 广义与狭义的 AI Infra 20:38 第三方系统优化公司的机会？——同时掌握计算、网络能力的芯片原厂是少数 22:51 “超节点”好坏，看什么指标？ 29:08 黄仁勋想推“训推一体”，实际上业界在怎么用 GPU？ 33:17 模型越大，显存压力越大——显存正成为芯片主要成本 36:02 华为超节点功耗高，但中国电费成本相对小，以总量换性能 38:11 华为的多卡互联来自什么积累 ——华为在成为 Nvidia 之前已是一个 Mellanox 42:57 NV Switch 为何难？去年 AMD 49 亿美元收购 ZT 补能力
- 超节点趋势，对英伟达和 AI 算力市场的影响 45:43 华为超节点，短期不冲击英伟达，压力给到其它 AI 国产芯片商 47:51 英伟达 H20 已计提 55 亿美元损失，但可能通过技术手段提升部分性能 51:19 华为在阿里 Qwen3 发布当天宣布支持 55:12 英伟达上游有全球供应链支持，下游有客户生态，危险之一是客户集中 01:00:44 为什么 Google TPU 没有动摇英伟达的地位？ 01:04:23 可能是 Nvidia 的“防守措施”：已成立“半定制”部门 01:06:17 为什么离开英伟达，十年前的老黄是什么样？ 01:12:01 2024 年选择创业：看到芯片周边集群优化能做出差异化，也是长坡厚雪 01:18:44 新硬件架构的苗头？——存算一体、类脑计算（脉冲神经网络）
相关链接 Pangu Ultra MoE: How to Train Your Big MoE on Ascend NPUs（盘古超级混合专家模型：如何在昇腾 NPU 上训练超大规模混合模型)
晚点聊 103：用 Attention 串起大模型优化史，详解DeepSeek、Kimi最新注意力机制改进)
晚点聊 49：3nm 是谎言？光刻工厂真能造芯片？与汪波聊芯片行业那些流传的误解)
附录： **GPU、GPGPU、ASIC、NPU：**都是可以做 AI 模型训练和推理的 AI 芯片。GPU 是图形处理器，GPGPU 是针对通用计算（而非图形任务）优化的 GPU，AISC 是专用集成电路，它的性价比理论上比GPU 更好，但不如 GPU 通用；NPU（Neural Processing Unit）也是一种 ASIC。 DPU（Data Processing Unit）：：数据处理单元，用于优化网络通信、安全和存储操作，减轻 CPU和 GPU 的负担，提升AI 算力中心整体性能。 **GPU 的精度：**如节目中提到的 FP8（（8位浮点数）、INT8（（8位浮点数） 都是 GPU 精度的一种，是不同的数据格式标准。DeepSeek-V3 和 R1 就是在预训练阶段使用了以 FP8 为主的混合低精度训练方法。 **总线（Bus）：**计算机内部用于传输数据、地址和控制信号的通信系统，连接 CPU、内存和外设等组件，确保信息在各部分之间高效传递。 **高速互联协议：**用于在计算系统内部或系统之间实现高速、低延迟的数据通信的协议，如英伟达的NVLink、InfiniBand（由 IBTA 协会开发）和 PCIe （由 Intel、Dell、HP、IBM 等公司成立的联盟 PCI-SIG 开发），支持大规模并行计算和数据中心的高效运行。 **Mellanox：**一家提供高性能互联解决方案的以色列公司，英伟达在 2019 年以 69 亿美元收购了 Mellanox。 ZT Systems：2024 年，AMD 则以 49 亿美元收购了 ZT Systems，为云计算厂商设计、制造和部署复杂的计算、存储和加速器解决方案。 **NVSwitch：**英伟达推出的高带宽交换芯片，支持多 GPU 间的全互联通信，可提升系统整体性能和可扩展性。 **NVLink：**英伟达开发的高速互联技术，提供高带宽、低延迟的 GPU 与 GPU、GPU 与 CPU 之间的通信，支持大规模并行计算和深度学习任务。 **Dynamo：**英伟达推出的开源推理软件平台，支持多种 AI 框架和硬件架构。在谈到英伟达收购 Lepton.ai 的背景时提及。 英伟达的费米（Fermi）架构：英伟达 2010 前后开发、推出的 GPU 架构，开发过程很不顺利，经历两次流片失败。 **神经脉冲（Neuromorphic Computing）：**模拟人脑神经网络结构和功能的计算方法，用脉冲神经网络处理信息，特点是高效能、低功耗。（人脑的功耗就比较低，只有 20 W 左右） **存算一体（Compute-in-Memory）：**将计算功能集成到存储器中的计算架构，减少数据在存储器和处理器之间的传输，提高计算效率和能效，适用于大规模数据处理和人工智能应用。
剪辑制作：甜食、Nick
**本期主播：**小红书 @曼祺_火柴Q)，即刻 @曼祺_火柴Q)
☆《晚点聊 LateTalk》建立「 播客听友群」啦！☆
欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流，第一时间收听新节目。 这里有更多互动，更多话题讨论。欢迎贡献选题 & 推荐嘉宾。
请先添加「晚点」小助手的微信号，备注：“晚点聊”，我们邀请您入群。
关注公众号《晚点 LatePost》和《晚点对话》，阅读更多商业、科技文章：
