We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
D
David
波士顿大学电气和计算机工程系教授，专注于澄清5G技术与COVID-19之间的误信息。
斯
斯图亚特
斯图亚特：我认为目前AI硬件的格局是围绕大语言模型，英伟达在训练方面占据主导地位，而推理方面则有许多不同的平台在努力。
David：
早期AI对硬件的需求不如现在的大语言模型，主要体现在模型大小的区别上。大语言模型的参数量远大于早期的计算机视觉模型，呈现指数级增长。广告推荐模型通常使用多层感知机（MLP）或深度推荐模型，这些模型相对较小，可以在CPU上运行。虽然广告推荐模型的数据量可能很大，但模型本身相对较小，甚至可以在CPU上运行。大语言模型基于Transformer架构，对计算量有较大需求。计算机视觉可以使用各种加速器，但大语言模型需要GPU。大语言模型对内存带宽的需求极大，需要快速地将模型参数放入加速器进行计算。英伟达最初是做GPU渲染的，后来在AI和Web3领域都获得了大量需求。在AI之前，英伟达的GPU大量需求来自Web3和区块链挖矿。英伟达在AI领域有很强的护城河，因为其CUDA平台被广泛使用。大语言模型对高带宽存储（HBM）有刚性需求，HBM是为了提供高带宽而设计的。推理过程需要将整个模型过一遍，需要从内存中快速读取模型参数，因此推理对带宽有速度要求。CPU的通用性强但算力较弱，GPU算力较强，HBM能提供TB级别的带宽，HBM与GPU直接通信，封装在一起。HBM的容量对运行大型语言模型至关重要，内存容量不足会导致无法运行大型模型。多张卡可以通过高速互联进行协同推理。大型互联网公司需要大量GPU进行模型训练，因为模型训练需要大量的GPU资源和时间。推理市场的格局与应用有关，大型互联网公司在云端提供大语言模型推理服务。边缘推理市场有更多参与者，不一定需要英伟达的GPU。AIPC集成了嵌入式GPU或NPU，苹果的Neural Engine也是一种NPU。推理场景下，云厂商也在研发自己的芯片。推理场景更加成熟，可以进行各种优化，因此各厂商都有机会。英伟达在超大语言模型推理方面仍有优势，但易用性方面仍是关键。CUDA生态是英伟达的重要护城河。国内华为的推理芯片可能被用于DeepSeek，推理的关键在于内存带宽，目前SK Hynix领先。过去三星在存储领域领先，但SK Hynix因押注HBM而在AI时代超越三星。英伟达的选择对HBM供应商有重要影响，HBM技术并非垄断，大型公司倾向于避免依赖单一供应商。HBM的技术进步是一个渐进的过程，HBM技术并非高不可攀，其他厂商可以追赶。HBM可能受到禁运限制，国内有很多公司在研发相关技术。推理的关键在于高带宽内存，训练主要集中在大语言模型上。推理应用广泛，不限于大语言模型。英伟达在大语言模型推理方面有强烈优势，英伟达的护城河包括GPU硬件、CUDA生态和互联技术。英伟达还在布局网络和多卡互联技术，云厂商可能会推出自己的轻量级大语言模型，但云厂商是否值得自研芯片仍是问题。英伟达的利润很高，云厂商可以通过自研芯片降低成本。
Deep Dive
本节探讨了大语言模型兴起对AI硬件带来的变化，特别是模型大小和内存带宽需求的指数级增长。它比较了大语言模型与以往计算机视觉模型在参数规模和计算量上的巨大差异，并解释了这种差异如何导致对更高带宽内存的需求。
- 大语言模型参数规模指数级增长，例如ChatGPT达到1750亿参数
- 大语言模型对内存带宽需求极大
- Transformer架构是导致大语言模型计算量巨大的关键因素
Shownotes Transcript