INDIGO TALK 第十四期,本期邀请来自 Google TPU 团队的芯片设计工程师郑琪霖,还有 Indigo 的播客老搭档李厚明,一同深入探讨了 AI 计算基础设施的技术演进和行业格局。从加速计算的基础知识,到 GPU 和 TPU 的发展历程,再到当下 ChatGPT 驱动的大模型时代,琪霖用生动的厨房比喻和技术洞见,展现了 AI 加速计算领域从硬件竞争到软硬协同的产业变革历程。
郑琪霖)(Google TPU 芯片工程师 - 嘉宾)
李厚明)(棕榈资本创始人 - 主持)
Indigo)(数字镜像博主)
03:12 计算的基础架构(以厨房为类比)
04:37 CPU 发展史与摩尔定律
09:37 GPU 的诞生与发展
12:30 TPU/NPU 的出现与特点
21:00 AI 芯片的发展时间线
35:55 大模型训练的硬件需求
48:03 推理(Inference)市场的机遇
59:07 行业竞争格局
01:08:22 未来发展趋势
这次播客深入探讨了AI计算领域的技术演进、市场格局和未来趋势,展现了从单纯的硬件竞争到软硬协同的产业变革过程。
关于硬件和软件的协同优化
"我现在感受到是说软硬件的那个交互。你那个 core 是怎么算的实际上没有那么重要 ... 比如说我做硬件,我给提升了 90%,但是你软件跟不上,你提升东西你用不起来。"
关于 ChatGPT 时代的 GPU 训练需求
"这 ChatGPT 必须要用 GPU 训练为什么呢?因为 GPU 可以提供 General Purpose 的处理 … 我在模型没有固定的情况下,我拿一个 domain specific 的东西去处理是没有意义的。"
关于未来 AI 芯片设计的发展
"我不认为我的工作被 AI 取代不了 … 这将是人类一个很伟大的时代,你这时候你还琢磨你明天吃什么,你工作会不会被替代,那太没意思了。"
对 TPU/NPU 架构特点的解释
"就是 GPU 它为了保证 General Purpose,它实际上是舍弃了很多性能 … 我现在算神经网络,不需要那么高精度,就是你知道这个图差不多,糊的也能认出来,不糊的也能认出来。"
关于推理市场的前景
"我个人感受到现在如果谁没有大模型的话,就很难继续进场 … 其实现在我们掰着手指头数都数的出来谁手上有好的大模型。"
对计算架构演进的精辟总结
"所以整个这一套就是一个最基本的一个计算机 … 也就是 CPU,整个硅谷就是基于这样一个最简的东西开始往前走的。"
关于 AI 基础设施建设阶段的观点
"我们现在还处于 AI Infra 的初期阶段,Infra 都还不成熟。现在我们推理还很混乱,每家都有自己的方案 ...训练这算被统一了,因为现在的英伟达的绝对实力把它统一了。"
对未来端侧计算的预测
"我怎么把这个 ChatGPT 做手机里,把 ChatGPT 做机器人上,embody AI 嘛,就是说 physical,而不是说一定要所有东西跑到服务器上去算一下 … 而且我觉得这个可能 90% 多的这种需求都是在本地完成计算。