Deep Dive
Shownotes Transcript
告诉我今年能出多少货明年能出多少货这个是他面临的压力因为他急了对就是急了因为他急了今年的 GTC 有什么不一样的我觉得今年的 GTC 我同事给我发的一些照片跟去年的情绪上面是暗淡了一些另外一点的话就是虽然大家不讲中国但是中国对于整个硅谷我认为产生了冲击是的
当年 Jeffrey Hinton 专门为此给英伟达写了一封信说你们送我一张卡我就对在座所有学术会议的参与的学者告诉他们说要用英伟达但是英伟达拒绝了这次的 GTC 的会几乎听不到 training 这个词替代的叫 inference 就是使用推理我们也需要对自己更有自信一些在走向应用场景专业化走向到数据优势的时候中国企业的优势越来越大
哈喽大家好,这里是山岩漫谈,我是诗杰这是直击 2025 英伟达 GTC 系列的下期在上期中,我和 PPIO 派欧云的联合创始人兼 CEO 姚欣一起还原了英伟达过往的 30 年历史以及精彩的算力江湖这一期内容将聚焦 3 月 19 号召开的文界 GTC 大会
所传递出的风向和重要信号以及 2025AI 发展的大趋势依然是由备受好评的姚欣老师为大家解读
欢迎姚欣姚总大家好我是姚欣上期我们讲到英伟达是一个持续下注未来的公司过去这一二十年它当时下注的未来是什么我觉得首先第一个就跟 GPU 有关系因为最早的 GPU 的全称叫做 Graphics Process Unit 就是一个完全为图像处理
我们叫显卡对但事实上的话大概在 2000 年左右的时候英伟达当时他的首席科学家叫 Bill Daly 然后他就提出了一个说能不能
把这套 GPU 的架构啊,并线结构去解决很多其他的通用问题他提出一个叫做 General Purpose GPU 就是叫做通用型 GPU,GPGPU 那其实当时这套架构提出来的时候最早都是学者提出来的,斯坦福尔教授提出来的然后其实那个时候很少有人得到重视但是老黄就特别欣赏他,所以把他挖进来做英伟大的手机科学家嘛
然后他们最开始提出了第一代的这种通用 GPU 结构那个时候我当时记得我们应该是差不多十几年前最开始我们做视频编辑码就在用 CUDA
还是第二版第三版的时候那时候他就在讲说哇未来的视频要消耗如何如何多然后接下来来讲的话还有很多的一些科学计算还有包括未来大家要去做一些什么生物模拟很多年前就预演了后面的视频时代是吧对对对他当时就在提出这个部分是所以说包括咱们今天去看比如自动驾驶汽车这个车里面都要有这个车联网自动驾驶的这个核心的部分这个也是我记得大概也在 15 年前的时候就提出来了就他当时把
他的整个这块芯片说我要放到这些移动设备里去
一开始放到手机里面去耗电太高了所以手机市场没打下来后来说我就放到游戏机里面最早出了一个掌上游戏机很强性能的包括大家在玩的 Switch 游戏机你知道吗 Switch 后面的芯片就用的是英伟达的当年从手机上面拿下来那块耗电高的芯片后来又把芯片装到了汽车上面去然后当时就是最开始的第一波做自动驾驶模拟全部用他的芯片来做
然后一直到什么时候我印象很深还有一张图网上一张图是 Elon MuskOpenAI 刚刚创立的时候老黄给他送了一台 AI 服务器
然后这个伊伦马斯克签收那个是 2016 年的一张照片他希望他用这个服务器做什么去推进 AI 的诞生和发展其实那个是给 OpenAI 的第一次的捐赠当年 OpenAI 也是 nobody 谁能知道后来真的做出拆 GPT 了所以这也是一段渊源我觉得就是这点证明了这些企业就老黄的一个成功因为他的成功之一就是愿意不断的去下注未来
不断的愿意去进行非常长远的投资我的理解他下注的未来其实就是他判断未来哪些场景下需要什么样的计算对
对,就是海量计算领域,他的业务其实就是冲着这一句话去做的,对,甚至你可以看 GTC 发布会的后半段,几乎就是这样的主题,后半段就描绘未来到来了,对,所以他不是一个产品发布会,是一个技术展望会,对,你说的是,也是科技风向标,科技的一个展望,而且我们有时候吐槽他已经变成了一个期货发布会了,因为他说的东西都不是今天就能发行的,
打算都可能到明年的时候才能看得到所以站在此刻面向下一个十年它的未来压住的是什么这次 GTC 的时候我觉得它给了一个很清晰的脉络上次还没提这么清晰它讲了四个 AI
第一个叫 Perception AI,就是 2015-16 年大家熟知的基于计算机视觉的 AIAI 突然能够人脸识别了,这个好像每个人手机都用到了四小龙做的人脸识别,声音识别了,这个叫 Perception,感官式的 AI 然后第二个阶段就开始什么叫生成式的 AI,就是拆 GPT 诞生的 Generative AI
然后呢第三个他写的什么呢叫做 agent AI 其实就是刚才讲的 Manus 其实就是 agent 的一种就是一个在数字世界里面能帮你自动完成任务的一个智能体嗯
当然这是数字世界如果有一天这个数字世界又能跟物理世界结合呢是吧比如说我们数字世界中间可能没法这个真的帮我来送一个外卖和订单但是如果有机器人结合呢所以说将 agent 跟机器人结合之后就形成了第四个 AI 叫 physical AI 物理 AI 它所以说整个这个故事的话我自己觉得已经把
过去十年和未来十年都画在这个图里了其实因为昨天晚上我也在看 GTC 看到很晚我看到他其实给了一个曲线图就从最早的 perspective 在这里然后到 Gen AI 上升了一点然后到我们现在正在经历的 Agent AI 又上升一点然后他把 Physical AI 放在最高点他是这样的一个折线图所以我很好奇的是为什么是这样的一个路径
其实这背后我自己的解读这个好像没有官方解读我个人解读我觉得有点像生物的进化逻辑你想想最早的单细胞生物最开始先产生的是感官器官感官就是眼睛等等声音等等的事然后第二步来讲的话开始产生一定的智慧能力了就是大脑开始逐渐的发育然后开始有神经系统神经系统
神经系统其实本质上是在感知外界并控制你的身体运动实际上这个就已经从整个这个所谓 generalty AI 是吧更加的聪明包括这次像 deep seek 能让你能够更多的深度思考这个都在大脑在发育是吧那接下来下一步就开始长出手和脚了是吧只要逐渐的从这个在数字世界的手和脚就是 agent
走到这个物理世界的手和脚都变成机器人了所以说它这四个阶段我觉得有点像一个生物的进化的四个过程一样对我是另外一套理解就是我觉得它很像我们接触到一个事物之后所做的一系列反射就是从最早的图形识别其实是我们的视觉我们接收到信息接收到信息之后我们其实要在大脑过一遍做一个计算和思考然后这个其实我理解就是 Gen AI 就是生成式 AI
然后当我们大脑有了一个想法或者是一个结果的时候我们就会用一些行动比如说有一些可能是在脑海当中实践的这个时候我在脑海当中已经做了一个回复了对这个可能就是 agent AI 它做代理它其实帮你去操纵的是
怎么讲数字世界但是 physical AI 它其实指的就是我们要做出行动然后要改变物理世界了所以 physical AI 还在一个更遥远的一个进程里面我昨天也看到这个折线图我觉得很有意思而且其实昨天他也讲了很多 physical AI 也讲了很多产业是是是是是
我觉得大家跳出来看为什么老黄要渲染这一条呢其实有他的压力所在因为大家最近他的股价也在一直在被波动和挑战嘛他必须在每年的发布会所有人都期待着说他要给大家来看到一个多么巨大的未来这个未来的话能够有消耗大量的算力如果站在十年后去看今天的英伟达三万亿都不是个事这是他其实背后他要去表达的一个特点是
的确到最后你想想 Physical AI 已经是他后来提到的 Physical AI 已经要实现物理定律的模拟了就是一个物体在所有的模拟世界里面它的整个弹跳反射它所有的摩擦力全都可以计算了这块我自己觉得这个还是一个非常有想象力的想法这不就有点如果真的 Physical AI 百分之百实现可能就是我们要问一个问题我们当前这个世界是不是也是模拟出来的
我们今天的这个所谓的真实到底是真实还是一个模拟而且我看他 physical AI 的时候我自己也会有一个感受就是如果 physical AI 真的实现了那像英伟达这样的公司他不是要吞掉整个物理世界的千行百业他就真的变成一个超级无敌大巨头对英伟达最终要对抗的是什么呢是能耗嗯
最后对抗的是物理定律所以你可以看到他今年后来的所有的发布包括他很多的这种讲法都在说我如何在我最大的评价就是能耗我如何在特定的能源消耗情况下让我的算力让我的 token 的输出能够在十倍百倍的这种持续的增长这个
这个他其实面临的最大的挑战我自己比较好奇的一点是其实我们俩之前也聊过的就我们本来预期今年 GTC 他会大奖特奖机器人尤其是人型机器人但是我感觉昨天机器人相关的篇幅好像没有那么高没有这么高
我还是觉得第一个呢他其实内部还是在一直在做因为包括去年发的这个 Isaac Newton 这次不是也最后出了这个 Blue 的机器人吗但的确我觉得英伟达更要解决是当前的问题就是当前大家投资者在问的问题是你现在接下来马上你算力要消耗多少是吧你别给我老讲巨神智能讲未来那个可能十年后要成归了梦是吧告诉我是吧今年能出多少货明年能出多少货这个是他面临的压力是
而且去年 GTC 就是一年前发布的期货就是 GB200 发出了但是 GB200 的最开始 DP 大家其实传出来它的散热的问题它的系统的稳定性问题其实产生一些忧虑再加上 DeepSeq 的冲击大家有一段时间会担忧说我是不是整个算力的架构会发生一些变迁
所以说的话短期内市场上再对它是一个挑战所以你看到股价这么波动也这样的事但我觉得这次它的重心为什么不放在人性机器人就是它要解决当前面临的问题它就告诉大家我马上要出的这个 Blackwell 的增强版 Ultra
而且的话下一代我原来定名那个 X100 已经定了名了叫 Rubin 然后我也会出而且的话一口气我觉得前几年都没这样一口气把未来三年产品路线图而且的这个每个产品什么时候要交货他全给写下来了因为他急了对就是急了因为他急了所以他还是用这种方式的话来去传递
给远在美国东岸的资本市场一些信息我觉得这是他 GTC 这个背后的声音话既然说到这儿了我就要跟您大聊特聊一下我最近也特别关注的一个话题大概是从 DeepSeek R1 发布之后其实我有一直在观察英伟达的股价包括我觉得资本市场管他叫做 127 惨案我觉得 127
指的是就是当天这个英伟达市值出现大幅的跌落我觉得这个事情本身啊就是它一方面反映了这个美国资本市场的一些特性和一些戏剧性但另外一方面其实我们也看到了跟我们中国人很相关的是其实 127 惨案是源自于那个非常有名的对英伟达的做空报告它被称为史上最成功的做空报告那个报告
它的中心主旨就是在讲 DeepSeek 的出现如何冲击了英伟达的算力生意它的这种高利润率和高市占率还能保持多久一直延续到现在它的这个股价还在震荡包括其实这场 GTC 发布会之后
还是在跌对所以您可以从您的专业的角度给大家讲一下为什么从一月份到现在 DeepSeek 如何冲击到了英伟达的股价也可以帮助我们理解为什么今年 2025 的 GTC 英伟达听起来压力这么大我觉得老黄今年的
上台的状态都跟去年不一样了去年感觉是蹦在台上玩摇滚对 去年我觉得它真的非常意气风发觉得那是一场顺风球今年可能能够感受到好像还是压力很大 步子迈得都沉重一些但也有可能是我们主观异端我觉得这块的话其实因为我们自己包括我自己的公司我们也在做云计算做 AI Cloud 我们算是 AI Infra 的一个环节嘛
我觉得这个里面其实存在着行业内人是跟投资者或者说行业外人是之间的一个信息差什么事情呢就是从 23 年大模型开始发布是吧然后包括咱们国内也开始百模大战大家都开始做大模型然后我们开始大量的投算力 23 年 24 年国家在建制算中心全球各地都在买英伟大的卡大家解决一件事情就是迅更大的大模型这是行业内的事情但事实上从去年的六七月份开始
在行业内真正 AHR 内大家开始传出一种声音来就是说所谓的大模型的规模效率就 scaling law 在训练侧慢慢慢慢减弱了然后大家都认为训练差不多快要到头了典型的事情应该是到去年 11 月底的时候这 OpenAI 的首席科学家伊利亚他自己是主动宣布说数据都被我们用完了对数据都用完了是吧然后可能大模型想再 10 倍扩增这个难度会很大了
所以说行业内已经形成了一样一个看法就是在从所谓的模型训练开始再往模型应用就是所谓的模型推理服务这块再做这样一个迁移但这种迁移预期反映到资本市场和投资人来讲的话是一个错后的一个过程嗯
因为大家还认为说你英伟达你就应该继续大量的售卖其实去年老黄也是极力的来去给大家教育说未来我的卡更多的是会做推理但是架不住大家还是对于大模型的这种想象所以他也会顺应那整个这个扭转的过程我认为就是你说的 127 突然不仅是英伟达我觉得整个全球的 AI 圈以及包括 DeepSeek 的出圈让
诸多的这些投资者和更多的这些企业的决策者都意识到了一件事情是
原来现在的大模型能力已经不错了开源就已经做得很好了接下来要卷的事情是什么卷性价比了开始卷使用的成本了卷应用对不是在一味的去追求一个性能指标达到多高而是要追求应用落地了这样的一个变迁跟之前投资者对于英伟达做股价预期的这种预期之间产生的 gap 差所以说导致了一个短期的下滑但我认为这次看完 GTC 的会议你能看到
老黄这次的 GTC 的会的核心主题几乎听不到 training 这个词然后替代的叫 inference 就是使用推理推理使用然后的话听的最多的词就 token token token
大量的消耗 token 等等的事他其实在描绘另外一个概念他要告诉你当训练转向推理之后我英伟达依然是推理时代的皇者甚至可能你们要去消耗更多的权利而且正是因为他里面好几页在介绍他特别对比了一下 DeepSeek 这种模型和以前比如 ChainGP 这种模型
同样的情况下它的整个使用的 token 的消耗多了 20 倍就回答一个问题它要多花 20 倍的 token 然后算力可能要多花 100 倍的这不就是可以支撑它的叫做 buy more save more 就是买的越多省的越多使劲再买因为你们未来要更大量的上百倍的这种消耗要诞生了
我英伟达依然是能给你提供充裕的这种算力能力这样的厂商所以说这个就是他想拼命想传递的信息但为什么股价又下跌呢在于就是市场上还在打一个问号因为真正的走到了推理市场是不是只有你英伟达如训练市场那么垄断大家还是打一个问号
这个问题我们一会儿可以好好展开讲一下但我呼应一下你刚才讲的一个观点因为其实去年我在跟大模型相关选题的时候我有跟也是您的同行也是做 AI infra 的规矩流动的袁金辉袁老师其实他有一个非常代表性的观点就跟您刚才说的一样他说如果训练所需的算力是一池游泳池的话那么推理所需的算力可能是一条河嗯
就是说它是一个更大的一个消耗量那其实黄仁勋我理解去年他在 GTC 发布会上就已经小小预告了推理时代的到来但是可能是因为去年我们并没有真正看到一些推理型的模型的应用出来但是在去年年底今年年初 DeepSeek 发布了一系列的模型然后包括在年初其实 Manus 我们刚才有聊到我们会觉得 Agent 到来了
AI 应用应该在二五年一定要来了吧所以其实是这件事情从一个小范围公式变成了一个大公式所以今天早上你看这个 GTC 大会除了我们刚才讲到的说他在讲推理这件事情还有没有就比较有趣的事我们刚才讲
好像没有如我们预期当中讲那么多人型机器人是因为人型机器人那个事还有点远对他得要先把近阶段大家的焦虑给大家解释明白是吗对对对我们一开始在关注的时候就对比去年嘛最后一幕哇十个机器人全部升起来对就讲人工智能包括讲元宇宙甚至之前还有人传这一次会讲量子计算因为最近这个量子计算有很大的一些推动但这些所谓的推动可能都要看 20 年
十年二十年的周期是所以说我觉得这次老黄的整个选题都更加的务实了他不是最开头还在讲说这次我没有提词器我是所有东西都没有去背这个稿对所以怪不得我我昨天看的感受就是今年他吃螺丝吃的好多呀就不像去年这么流畅而且的话我们自己在看他的很多的一些产品线呀我认为都是匆匆在退出的事就是因为 AI 这个行业的确变化就很快
然后三个月三个月其实就是在非常考验大家的反应所以说我觉得它也开始在变得更加的敏捷和快速我也快速在调整快速在适应我看它这次推出了一个所谓 AI 工厂的新的操作系统叫 Dynamo 是吧 Dynamo
这个 Dynamo 是你说的这个临时反应的一个成果我认为是而且我认为跟中国有关系就是因为 DeepSeek 给催生出来的这是我的解读能给大家解释一下 Dynamo 是什么以及为什么你有这样的判断首先的话这次老黄又造名词了这个给原来一个咱们很熟悉的东西升级了以前熟悉的东西叫数据中心嗯
IDC 后来的话大家说我放的都是 GPU 把它升级成名叫 AIDC 智算中心这次智算中心都觉得这个词 low 又起了一个新名字叫 AI 工厂老黄的原话是他认为未来我们需要两种工厂
一种是给你生产物理世界的真实的物体的传统的工厂送进去原材料出来就是过耳嫖盆我们各种各样的使用品第二个来讲的话叫做数字工厂就是 AI factory 进去的都是各种各样的数据出来就各种各样的模态音频视频生成他认为未来大量的这些 token 生成都是由这块来构成的
那就像传统工厂你要追求你的生产线的效率是吧比如说你流水线能不能提高你的工作效率能不能 24 小时连轴转是吧甚至你一条产线能不能生产出更多的比如 iPhone 手机同时生产出更多的一些设备他也在追逐这样一件事情他说我如何让这些数据中心制算中心 AIDC 能够在单位时间和特定的一些比如说能源限制的情况下能产生出更多的 token 嗯
他就把 token 当成了相当于未来的新的一个计价单位商品的一个最小的计价单位你只要能够生产出更多的 token 就证明你的这种投入产出比就足够好这样他的卡就更好卖 Dynamo 是什么 Dynamo 可以理解为 AI 工厂的操作系统它其实是一套软件他就说我怎么把这些数据中心里面的大量的这些英伟达大量的卡能够更加高效有效的利用和管理起来
而这套管理我们后来快速的看了看他 PPT 里面有几段的介绍比如说他里面有几个什么专业术语比如说 PD 分离什么专家并行而这一类的术语恰恰是算了就不到一个月不到一个月之前刚刚 DeepSeek 做了一个二月份的开源周就是 DeepSeek 在自己的大模型 RE 发布之后其实他把 DeepSeek 底层是怎么运作的包括他的整个为什么推理速度能这么快
他做了一个开源解释他连续发了一周时间他的每一块这些功能部件其实我能看到的今天的 Dynamo 跟一个月之前 DeepSeek 的这一套开源组件有异曲同工之妙甚至你可以认为 Dynamo 就是之前那一系列开源的一个又是一个组合而我们知道的事情是因为作为硬件厂商他肯定都有一个长周期就像老黄都会预报到三年后我要做什么卡一样的事而这套东西在
去年发布会甚至说包括在半年前的很多媒体沟通会甚至在 1 月初的他在 CES 的会上来点只字未提
我们有猜测甚至我们团队在看这个时候还觉得 Dynamo 有点像 Kimi 在发的那个 moocake 里面的很多的架构的用词和术语都很像当然都是开源的所以说我觉得这块真的有可能是有些借鉴和参考的部分是但是也从侧面里能说明就是英伟达这个团队真的非常的快速非常的敏捷他们可以把一两个月内行业里面的新共识
和新的产出快速的集成到自己的系统里面去所以他们也在快速的去迭代对我觉得大家都会共同的认为分布式推理会成为每一个大模型和每一个像我们这些做 mass 服务 AI 服务的厂商的一个标配了大家都会向这个路线来去走
能给大家解释一下什么是分布式推理我可以解释一下现在的大模型到分布式推理这个结构啊稍微解读一下 DeepSeekDeepSeek 这次做了一个很重要的创新就是 DeepSeek 这个满血版 671 币的满血版啊
它并不是数千亿的一个模型它其实本质上是由数百个小模型构成的我们把它叫做是一个专家混合叫 MOE 上很多个小型专家每个小型专家可能这个专家可能就是一个 7B 的参数那可能就 20B 的参数每一个专家适合做一类的任务比如说有的特别适合于做内容整理有的特别适合做逻辑推理是吧等等的事正常部署一套 DeepSeek 的时候我们可能原本就是把所有的专家放在一台机器上
或者说 100 个专家我就找 100 台机器每个机器布一个但这就带来一个问题每一个专家的被调用的频率和可能性是不一样的有的专家会经常被访问有的专家很少被访问这样会导致所有的这 100 台机器的利用率有的不够有的来讲的话太闲置
DeepSeek 做的一件事情是什么呢就是他做了一个事情就把专家按照他的使用率做一定的再分配可能把一些相对来讲较少被调用的可能更集中的再去部署而其他来讲的话我可以让他更加分散的部署这一套的架构就变成了一套未来在跑大模型应用的时候我靠的不是一台机器我可能靠的是一个小型的集群比如说 10 台 100 台机器
这次英伟达也是推出 Dynamo 也是这样一套因为他卖机器的时候可以卖一张单卡
他可以卖一个集群你看这次他有一个叫 NVL72 就是把 72 张卡连在一起的一个集群他现在不仅把这个集群卖给你了还给你卖一套部署的软件叫 Dynamo 就是告诉你我怎么自动的话帮你把这些各种各样的最佳的部署实践来实施好实现算力的最优化对然后实现你所有的算力的最优调度和最优使用所以这套思路的话我觉得明显能看到是完全为
推理优化而生的这个跟以前做大模型训练的角度和技术路线是不一样的那的确这个就是今天为什么大家在考虑很多的这些推理在走向分布式的这种结构是在一个集群内不同的机器去做不同的任务这听起来很像共享经济
你把调度多的专家放在一批把调度少的专家放在一批然后为他们量身定制一种牵扯算力的方式其实这是我们做计算机系统结构的一种标准的思路因为今天计算机系统就是如果单机性能不够我就要靠多机来执行但一旦多机化之后我的利用率不足我就要开始来不断的做调度其实云计算就是这样来实现的其实多机这个机指的就是
你可以说多台机器或多台机场的多张卡这样传统的云计算也是一个共享当年为啥我们有云计算因为我企业自己买一台服务器跑我自家的任务我可能跑完之后的话我晚上没有人用了对有潮汐效应但是我如果放到公有云上面去我另外一个客户就可能在你的低谷期他就会去使用这样的话大家的综合利用就提升了比起你自己去买一台机器去部署就要便宜得多
所以这种共享和组合在很多计算架构设计里面都有这样的思路算力的共享经济对也是所以您会觉得它新发布的 Dynamo 可能您刚才是这个意思吗可能借鉴了也许我觉得应该形成了行业的共识因为我相信可能不仅是 DeepSeq Kimi 包括在海外很多这些新的模型厂商可能在过去半年里面早用这种方式在内部在这样部署了
我觉得这次无论是 DeepSeek 的开源还是这次英伟达 GTC 发布会发的 Dynamo 都证明了这条路线的可行性会鼓励大家都在往这条路线来去迁徙这也是我很感兴趣的一个话题因为我今天早上看了发布会可以说英伟达的当下应该是和 DeepSeek 强困榜的
很多的质疑都是由 DeepSeek 来的但其实在 GTC 这场会当中还是没有太多提到 DeepSeek 几乎没有吧也没有正面回应市场的这些质疑但是听下来我觉得教主他在用自己的一些方式来默默地回应这些质疑他没有正面回应但他其实在努力地消除大家的误解你看他最开始
发布会先上来先讲主流的云厂商去年买我的 hooper 买了 120 万张现在已经定了我的 black veil 已经 360 万张这是给资本市场传递信息说其实他们还在不断的在增加再去大幅的投入是吧然后第二个呢他又再继续讲说你看接下来因为 deep seek 等等这一类走向了这个所谓 resonate 就是走向那种深度思考的推理模型嗯
他们的单位时间消耗的 token 比起以前的问答要消耗多了 100 倍所以说算力需求更多了从一池水到一江水对我英伟达可以变得更好然后第三层又在讲说我还出了 Dynamo 你们说他好我也向他学习我也快速竞争进来我这都做好了你还不让我股价涨一涨对所以其实 Dynamo 很有意思就是他说明首先我还是愿意学习
你们的所有声音我都听到了而且我主动的学习我很快的就学到了而且我速度很快我仍然保持着市场的领先地位去年的大会的确在整个这种进 AI 的加持之下包括大家对人工智能无限想象的情况下就达到了最高的顶点那今天的话我觉得也是你不觉得吗就是今天的 AI 的所谓的这种高预期也在慢慢的回落但我认为这个在科技发展史里面非常正常而且这才标志着科技走向成熟
因为我们在科技的发展路线里面有人总结一条曲线叫做 Gartner 技术炒作曲线一个叫 Hype 的曲线他就说每一款技术在诞生之初的时候我们都有一个过高的预期然后会慢慢去炒作炒作它但是你炒作的速度超过了技术进步的速度这时候就会有一个你的预期落空的过程所以它就会滑落
但是不要觉得它是滑落就是一个坏事就是泡沫破灭根本不是个坏事恰恰相反积极水分是吧同时的话让大家更加脚踏实地的务实来去做事这个时候相反技术再进步的时候我们的预期是一个合理预期这时候就能走向一个真正的光明期
让我能感觉到整个大模型从造神是吧造更大的模型 scaling law 去年这个叙事逻辑走到今天讲 AI 工厂讲生产的性价比讲整个这个模型的消耗我觉得就是一个看似没那么性感但是呢在逐步落地啊
实际上也是让我们能看到今天可以期待的可能就未来一年两年之内 AI 真的会进入和改变我们的生活我们在很多领域就像移动互联网互联网一样的是润物细无声一样的在全面的使用起来因为它足够便宜而且它的性能已经被验证了再加上有这么多的产业界的这种共通包括像 DeepSeek 的这些开源的带来我
我觉得我们可能作为行业的参与者或者说包括作为每一个普通的用户应该对未来反而应该更有信心更有期望才对我非常认同刚才你讲的这个曲线就让我想到其实很多伟大的公司都是诞生于寒冬的大家可以仔细想想为什么它诞生于寒冬往往是在这个市场的水分被挤掉之后在一个非常冷静的状态它才能够有这样子的一个做事的状态对
当年英伟达在十多年前就是我印象还很深那时候我还在做投资人在蓝石做投资的时候我发现我们投的这些初创公司英伟达的工程师都会吹进去给他们推进说你怎么用我们的酷大来做那个酷 DNN 就是基于酷大版的深度学习网络高标准的售后对甚至说包括高校大量的高校包括中国的高校你直接可以免费申请免费给你送
他这给你送过来送多少张 1080 请你来去使用所以说英伟达真的是在十多年前靠这种方式捕获了大量的开发者的心就像我们可能当年我学 C 语言我学会之后我就一直想用 CC++我就不想再切换一样的事但是我在写英伟达的那本书里面看到一个小细节说当年 Jeffrey Hinton 他的学生训大模型需要卡
然后 Hinton 专门为此给英伟达写了一封信说你们送我一张卡我就对在座所有学术会议的这个参与的学者告诉他们说要用英伟达但是英伟达拒绝了
那个时候还太早太早那都是 2011 年 12 年的时代是但是但是架不住的确对但架不住之后他其实我觉得在上一波深度学习浪潮的时候英伟达的反应就非常的迅速就大量大量开始在投入您说的上一波是指 15 16 年那一波啊
你刚才那个故事更早因为那是 13 年之前的事情人家还没有直接讲连深度学习还没有进入视野但是的确当深度学习被行业接受的时候其实我能看到在那一波的时候英伟大学就进行大量投入他得到的结果就是现在全球你去看这些所有做 AI 研究的这些高校和学者和这些算法工程师大家可能默认都说我先调一个基于库大的版本出来如果他调通了做好了我再去
平移到其他的平台去然后别的厂商都要去做适配所以说基于这一点的话它形成一个很强的一个护城河但这个护城河我觉得在今天的大模型时代的早期也依然很强因为大模型这么多特别在过去两年上百个大模型每个模型每张卡都去适配这个难度太大了所以说大家就我都见证哭大就完了但是随着百模大战也在结束了现在很多模型厂都宣布放弃预训练了所以说以后我们的机座模型我认为会像
手机操作系统或者当年 PC 机操作系统一样的可能就是几款就像今天 iOS 安卓是吧这个 Windows Linux 当变成几款之后当底座大模型数量缩小之后这个时候硬件厂商去适配它的难度就减少了而这样的话我认为其实所谓的酷大的这种所谓的兼容性的壁垒就会慢慢的下降甚至说再往上大家都走向 agent 的编程了之后对底层更不需要去关注了
我认为这件事情的话从长时间来看如果放到十年来去看来讲的话我觉得英伟达的这些软件的护城河的壁垒还是可以突破的而且是在慢慢慢慢在消融的一个过程所以你刚才讲到你觉得 AMD 现在跟英伟达比起来在硬件上它有它的性价比但是在生态上还差一口气但你又
提到你认为在未来一些年英伟达的这个生态壁垒可能慢慢会下降随着整个模型开始标准化和集中化之后大家都说我用 AMD 也会兼容一版英伟达也会兼容一版那这块的话它
他的挑战其实就会面临到他的毛利率的下滑包括他的业务进一步的会被更多的性价比的解决方案所追赶所以他的确不好过他虽然你看很风光是吧估值这么高是这么高但是大家对他的期望也高他今天 80% 90%的毛利率 25 倍 30 倍的 PE 这个能不能坚持 10 年 20 年
在科技历史上来讲的话这样的公司应该讲非常罕见几乎没有没有一个公司能够长期维持这种高毛利那他也面临着这样一个挑战对我记得之前凯文凯利就说过一句话他说没有任何一个科技巨头会长期在一个垄断地位在整个科技史当中对这就是科技有魅力的地方是永远有后来者的新生的力量就像今天我们聊到的就英伟达其实他现在不停的在下注下一个三年下一个五年下一个十年
但难道所有的未来都只是在这些大的公司里面能看得到对啊就像今天 DeepSeek 包括像刚刚讲像 Minus 包括像中国的这种诞生很可能挑战你的这个创业对手根本不是在牌桌上可能
可能他还在车库里还在实验室中完全不会注意的地方对他往往真正最有威胁都是从没有被关注到的领域里面来发生出来但是这个就让我想到一个话题这个也是我之前看书的时候一个特别印象深刻的细节就是说黄荣兴认为祝福别人就是祝福你去承受痛苦吧他对于痛苦的这种忍耐力
会让我觉得也许对于英伟达当下的状态才是他的舒适区对我觉得他其实英伟达也是起起伏伏很多次嗯你像刚才上一波 1718 年的时候这样也经历过股价的下滑但是我觉得他依然还是一步一步的看好 AI 持续下注去年我看那个 GTC 大会里面他把 Transformer 八个作者都找过来他就要纪念 2017 年因为 2017 年是那篇论文出来的时候嗯也是上一个英伟达的高峰期嗯
但谁能想到当年的落寞结果又造就了今天的英伟达的这种崛起呢所以他后来是怎么从落寞当中翻身的呢我觉得还是这一波 AI 的整个技术的路线吧和大的这种框架我觉得他下注的大逻辑没错刚才咱们讲到了从这种所谓的图形计算走向这种并行计算走到这种通用计算计算架构的变迁这是一个一二十年的一个大趋势啊
今天依然是并行计算通用计算在走向更多的这种加速计算新的这个时代我们很多做应用做算法的人都会去往这来去架构和设计是吧包括我们公司自己在做分布式其实也是并行计算的一个分支甚至我们能看到计算架构的一个特点都有
分久必合 合久必分因为拉长时间去看这张图 70 80 年代我才刚刚诞生的时候那时候大家都做的叫做集成的大型计算那时候就 IBM 当时做的大型机一台机器跟咱们房间一样大小什么都装进去了
20 年前的所有的什么银行保险全部用大型机但是大型机被谁替代了呢被后来的一系列的 PC 机替代了我今天我组装 20 台 PC 机我跟你的大型机的性能是一样的这台 PC 机就专门做存储这台 PC 机就专门做打印服务这个就专门工作访问等等的话那这样几十台凑在一起可以迭代这个就是 90 年代的 PC 去替代大型机的浪潮实际上也是用分布式的结构替代集中式的结构
但是慢慢又开始集中了集中又是谁做的谷歌谷歌提出了云计算说我今天将一万台服务器放在一个机房把它们互联起来形成一个超大的云后来一万十万百万是吧到现在整个形成最大的云计算所以你现在你如果去那种大型的数据中心光散热能耗都能达到它的能耗的 40%以上的占比了那证明这个地方已经超级超级的密集的这种计算了而这种计算的话在未来的几年又会被打破
因为随着像自动驾驶物联网机器人是吧各种各样的这些设备你能看到它的算力在哪搭载呢并不是在一个核心又来说在边缘侧在设备侧甚至包括在我们手机上面我们也可以去跑一个小参数的大模型是吧做做一些图片的一些处理啊声音的录制啊等等也可以实现所以说我认为计算架构这样的 20 年的变迁其实这是一个最重要的底旋律
英伟达我觉得是从 2000 年开始他抓住了这样一套并行计算分布式计算和加速计算的这个浪潮他才会有了他今天的这样一个成功所以说这是最底层的
其他的过程中间的确你如果要想成功必先要苦其心志所以这是一个必然的一个英雄成功的这条路径现在其实中国的这些用户大家其实非常关注的一件事情就是之前被热议的所谓的 DeepSeek 会给算力版图上带来非常大的这种变革效应我想知道这个变革效应是真的存在吗
我觉得第一个已经呈现了就今天这次 GTC 的发布会我所在的这个行业我们主要在做的是基础设施就是 GPU 之上我们要部署一套云服同时我们还要把大量的模型集成起来
我们也在给大家输出 token 而且我们还要输出的 token 要追求第一个越来越便宜因为这样的话才能让大家能轻松的用起大模型第二个我们还需要足够的弹性因为你不知道用户会用过来 1000 万还是一个亿过来你都要能够承载得住而这样的一个这种需求的变迁上也是跟 DeepSeek 一月份之后才明显的能感受到特别是国内的需求开始大量的这种响应进来
今天在国内以前很难进入的很多领域比如像正企客户包括教育行业医疗行业现在也开始去拥抱 AI 了以前可能更多的互联网行业数字经济行业在拥抱现在各个行业都在拥抱 AI 了
所以我觉得这是一个大众的一次破圈式的一个教育首先让需求色激发起来其实只要有了需求剩下的事情就交给我们这些工程师来完成就好了怎么去降本怎么去增效是吧怎么来去提升这块的性能我觉得这个会带动起来整个 AI 产业链上下游的发展以前可能只有
卖算力芯片卖卡能受益但是接下来应该是很多做这种模型服务的做算力调度管理的做一些锤模开发的这些的软件厂商我认为也会大量的会被受益这样的话就能带到整个行业的一个健康和持续的一个发展嗯
这次 DeepSeek 在公开的这个论文当中有人留意到一些细节就是他们应该有工程师对 CUDA 的底层进行的优化就是说 DeepSeek 的模型其实是用了 CUDA 嘛也用了这个英伟达的芯片嘛那他们做了一个相较模型公司来说比较底层的工作就是他把底层的这些基建重新做了一个结构上的优化可能通过一些工程的方式
然后我认识的也是业内的一家做 AI 应用的公司的负责人之一吧他就评价说世界上能够胜任这份工作的人屈指可数我不知道他说的这个对不对啊
我觉得第一个来讲的话的确 DeepSeek 这次事件我觉得要认可这个团队这个团队不是我们所常见的一个仅是由科学家构成的一个大模型算法团队你要看到它的背后的母公司换方换方是做量化的量化基金的大家可能如果
如果了解量化基金的大家就知道量化基金是一个非常比拼工程效率的一个行业因为对他们来讲的话每一天股市的高频交易如果你能比你的竞争对手再快 0.1 微秒 0.几毫秒提交进去你就能挣到那个钱他每次挣的钱都很少很少一点点但他可以大量的累积起来做这种高频量化的交易他们其实非常要求对于底层系统性能的优化
甚至我知道很多的这些量化交易都是自己搭数据中心自己搭所有的这种技术架构不会去买一套标准的服务而换方就这样的一个企业所以说换方我们知道在 2112 年的时候他就在买 A100 了
它也是在大模型这一波炒作之前国内商买 23 年我就听说他手里有一万张卡对他当时就已经有很多的卡了他卡当时用于做自己的整个量化交易这套东西而且他具备从底层去做整个硬件优化性能提升的这样一个能力所以说才会有你刚才说到的那一系列这首先我觉得要肯定因为有换方的对底层 infra 的这套巨大的理解才会促成了今天 DeepSeek 能够有这么高效率
但第二个来讲的话关于刚才你提升引用的同行的观点我却不太同样类似意见就并不是只有全世界并不是全世界只有几个因为我觉得第一个呢对于底层的优化大家各有专注因为可能作为做很多应用的厂商来讲的话大家都不太看这个部分是嗯
因为当年举个例子我当年做 PPTV 我们因为诞生的太早了 04 年我们诞生根本就没云我们也是从底层传服务器传硬件做操系统包括 2010 年一年的时候那个时候大家还不知道云是什么时候我们就已经把我们所有的建构在云之上了当年我们也是做很多的这种底层优化的部分只是后来等到公有云普及了之后的互联网创业者就幸福多了就不需要干底层了不需要养 infra 团队只要用各家云能力就行了
所以说我认为其实具备这样的能力的企业还是很多特别是在 10 年以上的这种深厚技术积累的这套团队里面
而且还有一个细节你刚才描述的不够准确因为 DeepSeek 其实并不是真正意义上的绕过了英伟达其实我的观点 DeepSeek 跟英伟达的架构绑的其实更紧密了原因什么呢酷大是一个整体的框架上层直接给你封装好了很多的接口大部分的开发者就直接调一个接口就行了就像我们调个 API 调个动态库一样的事但是这个动态库毕竟是酷大官方给你写好的它的性能效率发挥底层硬件的性能效率是一个固定值
而幻芳这个团队他们是具备一定的优化能力的所以他调了一个什么他调了一个酷大里面的一个叫 PTX 的语言其实你可以约等于汇编语言因为我们都知道汇编语言肯定比比如说 C 语言的效率会更高他其实用汇编语言的形式还是操控了底层的英伟达的硬件他才实现了一个性能效率的提升但同时正是因为你用了一个酷大内的这套汇编也就意味着这套汇编语言可能更多是 only for
因为那套体系的所以我觉得更多的是 DPC 给大家展现了一套通过系统架构和技术往深层次做工程化我有巨大的挖浅的空间
而这种展现的形式其实对于行业的这种启发可能更为重要嗯 明白但 anyway 我们刚才讲到 Dynamo 其实也印证了 DeepSeek 或者说今天我们在中国还是持续的看到很多新生力量就是说中国的 AI 由于国际之间的这个科技竞争的关系我相信中国这片市场对于英伟达来说是不是也前所未有的重要
对呀当年在他美国上部没有封禁中国市场的芯片出口之前中国是他最重要的市场当时可以看到每年应该是我看他的财报显示每年应该全球芯片的 24%销售市场是转向中国但这个数字应该后来跌到 10 以下了应该是因为很多芯片禁售了对所以说对他来讲的话
你能看得到老黄有多么的拼命前段时间不来串个大花包括英伟达公司来开年会来年会不光他包括全球的这些商业巨头其实对他们来讲的话中国都是一个巨大的消费市场
是一个不可或缺的市场啊所有人都要去争夺的一个市场所以这次 GTC 在一开始发布的预告里面不是有 China AI Day 吗哦 OK 因为我们在中国所以你能看得到我问了我的同事现场同事说有没有 China AI Day 会不会有专门一个 panel 是吧专门是国内的告诉我没有而且甚至不仅如此几乎在英伟达的大会和赞助厂商啊就现场的这些展台里面基本没有中国公司的展台啊
除了联想联想还卖服务器嘛虽然是英伟达的合作伙伴就没有任何一个在应用侧和模型侧去展示的任何一家中国公司嗯
我觉得这也是当前的整个这种地缘政治环境下面的一种产物吧所以他的 China AI Day 更多的是线上的你看他的时间是在北京时间九点半的时候上那边已经是半夜了所以说不会在当地的会场而是通过线上的方式以中文的方式也算是英伟达就是为什么要取悦中国的开发者取悦中国市场的一个嗜好吧嗯
所以你们在前方 GTC 现场会觉得今年的 GTC 有什么不一样吗我觉得今年的 GTC 我同事给我发的一些照片和看到这些会场的内容来讲的话第一个呢就的确跟去年的情绪上面是暗淡了一些因为大家都是
没有看到那么 fancy 去年当时这次开会的时候还先放段音乐还摇滚着大家感觉现在进到一个文艺范儿是吧这次上来就在讲说你看我们的卡卖的很多很多上去谈商业谈 business 很实用另外一点的话就是其实虽然大家不讲中国但是中国对于整个硅谷我认为产生了冲击是的
包括像刚才讲的像 Manos 等等可能在国内我看到很多 hater 的文章但是我发现起来在硅谷很多人还是在觉得他们也在我们的一个哥们也是 YC 的一个孵化器的一个哥们他们说很多人都在去找说能不能找到 Manos 的一个妖精娃我们也想去试一试硅谷里面大量的这些产业界人士他们都意识到中国是一个不容小觑的
他们也觉得要跟中国公司要去比性价比比整个产品服务这也是非常非常重要的一个环节这点也的确可以看得到在全球的竞争环境里面 AI 现在目前只有中美两家
是最具备综合竞争能力的这个地方所以说我觉得我们也需要对自己更有自信一些我们在追赶但是这个追赶的差距的确越来越小而且的话在走向应用走向场景专业化甚至走向到数据优势的时候中国企业的优势越来越大这个都存在着
本期节目就到这里了如果你喜欢商业漫谈的内容欢迎动动手指在留言区告诉我你的听后感也欢迎在评论区分享你所感兴趣的选题或者是想要邀请的嘉宾我们下期再见