We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode #139. AI硬件和存储设备的最新进展

#139. AI硬件和存储设备的最新进展

2025/6/21
logo of podcast 牛油果烤面包

牛油果烤面包

AI Deep Dive AI Chapters Transcript
People
D
David
波士顿大学电气和计算机工程系教授，专注于澄清5G技术与COVID-19之间的误信息。
斯
斯图亚特
Topics
斯图亚特: 我认为目前AI硬件主要围绕大语言模型发展，英伟达在训练领域占据主导，而推理方面则有多种平台并存，各方都在努力。 David: 是的，现在AI硬件格局确实如此。早期AI应用以计算机视觉为主，对硬件需求相对较低。但现在的大语言模型对硬件要求更高，尤其在模型大小和计算量方面。互联网公司在广告推荐等模型中也会用到深度学习，但由于对实时性要求高，模型规模通常较小，甚至可以在CPU上运行。而大语言模型基于Transformer架构，对计算量有很大需求，因此需要GPU。英伟达的CUDA生态系统是其强大的护城河，因为其易用性降低了工程师的学习成本。此外，大语言模型对高带宽内存（HBM）有刚性需求，这是与图像处理不同的地方。在推理市场中，英伟达仍然领先，但其他公司也有机会，关键在于能否获得高带宽内存。

Deep Dive

Chapters
本节探讨了大语言模型兴起对AI硬件架构的影响，特别是模型参数规模的指数级增长，以及对内存带宽的极高需求。与以往的计算机视觉模型相比，大语言模型对计算力和内存带宽的需求高出几个数量级。
  • 大语言模型参数规模指数级增长
  • 对内存带宽需求极大
  • Transformer架构对计算量需求高

Shownotes Transcript

这一期节目中，我们和返场嘉宾David探讨了AI硬件的最新发展，特别是围绕大语言模型的技术进步。我们分析了NVIDIA在推理方面的主导地位，讨论了存储设备与AI硬件的关系，以及大语言模型对内存带宽的高需求。节目还探讨了市场竞争的格局以及未来发展的可能性，让听众对AI硬件的前景有了更深刻的理解。

嘉宾：David 主播：斯图亚特 剪辑：斯图亚特

时间线：

  • 00:01:00) 英伟达在AI硬件的统治地位

  • 00:09:06) 高带宽记忆体（HBM）在AI硬件中的重要地位

  • 00:17:44) 推理硬件市场广大

  • 00:25:27) 总结英伟达的优势

  • 00:28:56) 存储设备的趋势

  • 00:38:38) 新存储技术

欢迎您在每期节目下方给我们留言，和我们的主播互动交流，或是添加微信小助手nygkmb2022，加入微信听友群。如果您对我们的志愿者工作有兴趣，请点击 这个链接) 看我们的招募帖；你有什么有趣的话题，想来作牛油果烤面包的嘉宾，或是对节目有任何的意见或建议，欢迎发邮件和我们联系。我们的邮件地址是：[email protected]

图片由Gemini生成

片头片尾音乐： Courante 1st Cello Suite Exzel Music Publishing (freemusicpublicdomain.com) Licensed under Creative Commons: By Attribution 3.0 http://creativecommons.org/licenses/by/3.0/)