Shownotes Transcript
大家好,这里是 Alignment,由全球投资平台实相和开源研究平台海外独角兽出品的声音栏目 Alignment 是 AI 从实验室到能为人类所用的必备环节,也代表了拉齐、拉平我们主张用开源的研究和讨论精神,链接全球 AI 从业者行业瞬息万变,我们在这里拉齐认知,抹平鸿沟
距离上次我们聊刚好过了一个 Q 之前聊的一些预测也都验证了我觉得我们可以定期来做一些总结整理一下全球的 AI 的最新动态以及你的一手的信息和观察我们可以先来盘念一下美国 AI 的极其大的事件从过年到现在 OpenAI 先是发布了 SoraGoogle 和马斯克都加入了开源大战 Anthropic 发布了 Cloud3
以及最近的英伟达 GTC 被冠以了新的科技界春晚的头衔这一系列的大使有没有让你觉得 shock 的他们分别对于今年大模型战局和更长时间维度的 AGI 眼镜影响分别有多大我觉得第一个是 GPT 4.5 和 5
比预期的来的慢之前有位 Cloud3 发布之后 OPPA 就要发新模型了你看 Solta 模型已经一主都一个月了我觉得这个可能就是说 AGI 的战线有可能会被拉长拉宽第二个我感觉就是 Solra 比预期来的要早这个意味着就是说
今年的多摩泰的理解和生成的进步幅度都会很大就会解锁很多新的东西但多摩泰能不能带来智能和 AGI 其实还是一个很强的非共识另外就是马斯克加入了开源对吧那开源模型能力的水位线会被提升很多你看 XI 的人才密度很强 GPU 也足其实决定了很多后面模型公司的生死线当然我觉得还有另外一个就是说
就英伟达的股价就是去年这个时候觉得能涨但没想到能涨三倍这么多就是大家都觉得 AGI 很大但是还是低估了这个浪的大小更明显的一个感觉就是英伟达还是这轮 AGI 的最关键的吧我觉得短期老黄可能是比赛姆要重要的
刚才提到了马斯克加入开源同时加入开源的有 Google 你对 Google 开源的看法是什么 Google 现在发的还是小的模型我感觉它不会把最强的模型发出来开源的主力可能还是 XCL 和 Lama 我比较担心的其实是开源模型后面会打掉很多闭源模型的商业价值但是另外一面就是说最强的闭源模型它们的优化能力是很强的
还是之前说的最强的模型能力最强而且成本最低我还是相信这个状态的但是开源模型也有开源模型的好处就是很多人拿它来自己用更好用我觉得还是会覆盖很多
企业内需求场景呢你说开源模型会打掉必源模型的商业价值怎么理解就是你有了更强的开源模型以后比如说你把 GPT 3.5 水平的模型开源了那大家就不一定再调 OpenAI 的 3.5 的 API 了对吧那 OpenAI 作为最强必源模型它的商业价值我觉得还是会被打掉一些的你没有开源模型那么大家就只能去选最强模型公司的 API 了
这个好像是距离你上次聊一个很大的变化在认知上对吗你上次还是非常坚健认为币源比开源好而且好很多我觉得币源还是会比开源最强的强很多因为后面还会有叫复杂推理要完成有经济价值的任务如果多步推理最后准确性
很差的话还是玩不成任务的但是现在我发现很多简单任务开源模型还是可以完成的那我感觉其实开源的价值还是存在的对而且我不确定马斯克的 XCI 会不会持续开源如果它持续开源我觉得开源模型的水位还是会比较高的所以马斯克今年的开源战局为 AGI 的争夺赛带来了很大的变量对
我觉得 XCI 是有两个层面第一个层面是它是全体范围内争新的第一梯队的唯一的黑马第二个呢如果它持续开源那我觉得对整个模型的格局生态和商业价值其实是影响比较大的
你还提到一点就是多模态能否带来更高的智能以及能不能通向 AGI 式非共识对于这一点你是怎么看的今天多模态有几层作用第一层作用就是文本数据不够用了可以补充文本数据
然后第二呢会对用户体验有很大的影响就是理解能力变强第三呢生成你看生成的效果生成视频的效果今年也会大幅的提升但是多模态的数据对模型的推理能力有没有大幅提升今天还没有验证以及这是不是 AGI 的主线我觉得也是不知道的 Sora 到底是不是 AGI 的主线我觉得见仁见智的其实很难定义清楚对
相比去年底我们聊的时候今年翻过年来的这一个 Q 有没有什么让你感觉明显不同的
去年初觉得 AGI 是一个百米冲刺吧就是大家都没做好准备今年就觉得 AGI 应该是马拉松大家都有充足的时间做准备去年觉得可以无限的加 GPU 加数据就能到 AGI 对吧但突然发现 GPU 的数据中心和物理硬件是一个很大的偏见比如单体的数据中心现在加到 3.2 万卡可能在网上就要突破很多
另外还有一个就是说美国的能源基建其实都是四五十年前规划的了能源结构也很大不同突然新增了很多用电量确实是跟不上的今年最大的一个感受就是物理硬件成为阻碍 AGI 的一个时间表的最大因素了 2020
2024 年你觉得在全球来看大模型公司的这些梯队有没有发生一些变化?OpenAthorpe Google 还是明确的第一梯队马斯克的 XCI 欧洲的 MistroMetalama 我觉得是比较确定的第二梯队但是呢 XCI 我觉得是最大而且可能唯一的黑马
就是有机会冲击第一梯队但是比较值得期待的就是今年比如说夏天或者今年年底前他们能不能真的做出来 GT4 水平的模型我觉得这个是最关键的那你再往后看其实 Inflation 今天已经掉队出局对吧
那我觉得 character cohere 其实今年的挑战也很大我觉得有可能今年年内就得找买家了还是之前聊到的 train 一个 GP4 水平模型是很难的其实很多人还没有真正的开始规划 GP4 没开始 trainInflaction 提供了一个什么样的案例没想到模型收敛如此之快计算竞争是很残酷的
有人说它是第一个失败的 VC 重铸的大模型公司我觉得还是之前那个感受其实大模型 VC 是投不动的还是一个巨头的游戏 Infliction 是没有绑定一个更深的巨头的这是一个我最大的感受另外一个感受就是还是要看人才密度人才密度我觉得前三家公司加上 Mask 的 XAR 还是明显要高一截了其他公司确实你就从人才密度上我觉得是一个明显的差异
我看到你也去了英伟达能不能聊聊你对这次 GTC 的观察以及对于黄仁勋的演讲的感受你怎么看他这个人我觉得硅谷最亮的仔就从马斯克切换到老黄了很多马斯克的粉丝变成老黄的粉丝投资者的股票资金也从 Pesla 转到了英伟达老黄应该是直接驱动了这波 AGA 浪潮的我觉得贡献是不输 OpenAI 的之前听到一个说法就是说算法等了算力 30 年
我觉得是非常形象的我是希望说这波 AGI 不要因为算力物理的瓶颈而停下我觉得其实你看回头看过去几十年半导体应该就是人类最伟大的发明吧我觉得计算还会驱动未来的几十年未来就有一个状态就是可能所有人商业社会都要给老黄去交算力税这个就像过去十年去给苹果交入口税一样你要说老黄一个很强的特点我觉得就是销售能力超强
以前 GPU 卖给美国的科技公司现在他在提一个叫主权 AI 现在要把 GPU 卖给政府吃国防预算所以它的市场规模又大了一步我觉得这是很厉害的主权 AI 会涉及到地缘政治的问题吗我觉得会是
会涉及到但是它还是有很大的市场你看美国军费每年 8800 亿美金如果你拿 3% 2%买 GPU 这是一个很大的量那你说 GPU 是不是一个很重要的战略储备物资我觉得是极其重要的关于老黄硅谷有没有什么就是流传比较广的故事啊
因为马斯克有很多关于他的性格管理他有一个很好的习惯就叫 T5T 就内部每双周每个大组内吧应该会发出来最重要的五件事这是一个非常好的习惯老黄好像是不鼓励 996 的因为俩的员工是鼓励在办公室吃早饭和午饭
但是老黃是鼓勵大家晚飯回家陪家人的我覺得這是一個蠻有趣的接下來聊一聊 AGI 首先定義一下什麼是 AGI 對於 AGI 的定義業界是共識的嗎我覺得對 AGI 的理解還沒有共識我覺得就很像共產主義或者財務自由因人而異吧我覺得可以有幾個角度第一就是最激進的情況
AGA 能在 90%的行业超过 90%的专家完成 90%有经济价值的工作我觉得这三个 90%还是很激进的然后之前 Sam 好像也提过不应该从替代人的角度去思考而是说在所有的工作任务当中有多少需要五秒内就能完成的这些肯定是模型第一波就能做掉的
第二个角度我感觉就是说也得想 AGI 什么最重要其实还是智能能力本身最重要今天很多人讨论什么形态什么载体我觉得可能还不一定那么重要最重要的还是智能本身但是呢我觉得肯定会从数字世界走向物理世界
物理的机器人和设备怎么把这个智能的能力产品化我觉得是创业者很大的机会另外一个我很强的感受就是 AGI 不是一蹴而就的不太像是说你憋几年大招某年实现 AGI 就把所有东西秒杀了我的一个观念词叫渐进式解锁就是我们画一条登山的路线图模型能力没涨一些就会解锁一些场景
诞生一些应用对吧那这个应用能创造出相应的经济价值我听到最强的一个叙事就是说 AGA 能在未来 10 到 15 年让全球 GDP 翻倍从今天的 100T 涨到 200T 但你看今天 100T 的 GDP 和这波 AGA 直接相关的可能还不到 0.1%离接缩 90%还很远目前我觉得就体现在比如说 coding 一些代码效率比较高
信息检索效率在提高我觉得往后 10 到 20 年可能就是个从今天只解锁 0.1%到解锁 90%的一个过程我觉得一定要理解渐进是解锁这个关键词吧我内部也一直在画一个叫路线图就是未来 AGI 登顶的过程中有哪些东西我觉得眼前最期待的还是改变软件生产方式和信息检索这两个
先从你们这个登山路线图的近处看改变软件生产方式和信息检索的变革你为什么最期待的是这两个方向也就是说它会颠覆 SaaS 行业和 Google 吗是这么理解吗对 我觉得三年内是有机会看到 coding 领域的 AGI 的
也就是说做各种任务都不错的一个程序员因为大部分的任务其实没有像软件开发这么明确和有逻辑软件供给的方式我觉得会发生很大改变举一个最形象的例子就是说过去的软件其实很像一个自动贩卖机有限的 SKU 供给对吧
那其实是有大量飞镖的需求是没有被满足的我觉得未来的软件供给可能就是一个 98 的调 90 你想要任何口味可能都可以给你调出来其实这个常委需求是很大的我觉得未来一个软件开发的状态有可能就是说精准的自然语言描述甚至说简单的自然语言描述就是如果模型能现在用工具调用能解决就解决了如果没有满足的工具那模型 coding 对吧甚至生成很复杂的一坨代码
自己 runcode 的 debug 会多出来很多软件程序我觉得开发者或者产品经理可能就不是今天的几千万可能就是人人都是产品经理我觉得这个是真的会实现的就简单一个例子就是说每个人有手机了现在今天可以拍短视频拍电影以前是不行的我觉得就是 power 在变强但这里一个最担心的点就是微软和 OpenAI 我觉得是很激进的它有可能把很多的工具型的
或者 feature 型的 SaaS 可能都会干掉的只有积累了像很深的 workflow 和数据的软件公司可能发展还可以比如说像 South Falls 也好 ServerSignal 也好说到 Google 的话你看过去 20 年无数对手挑战 Google 但都失败了其实很大的原因是没有 fundamental 的技术变革
我觉得这一次大模型是给了大家机会的另外一个点就是说你看 Google 里面好多都是事实性的一些搜索电商旅游对吧去 YouTube 的网站但其实有一类问题是没有回答好的就是问答我觉得问答可能是皇冠上的明珠吧如果你能解决得非常好其实用户信任和长期留存会是更好的那这样我觉得用户价值也会做出来的
现在问答难解决的主要是因为幻觉吗还是模型的智能水平不够就有一个例子我经常问模型一个问题说过去五年美国股票里面涨幅最好的大体量公司营收利润巴拉巴拉的情况你帮我拉一个表其实很少有模型能帮我弄好的这是一个简单的分析师的工作我觉得是要把这些数字都拉准而且帮我分析好
比如说我想看英伟达今天的 PE 属于比较高的状态或者未来一年高不高的状态他要把历史情况都给我拉清楚做一个表今天很多模型还做不到的未来是需要的这就是任务我觉得任务的价值会比搜出来网页链接的价值要大你现在用类似的问答产品能够非常好的满足你的需求的方向是什么有吗我自己用的最多的还是 Cloud
我自己用的最多的场景是读券商的报告和各种报告会帮我 summary 的比较好让我看看这个报告后面值不值得再读第二我觉得我今天突然有了一个可以头脑风貌的对象了
我有些 idea 我会抛给他让他先帮我想一想只不过他现在想的还不是那种长周期的问题一直帮我想着我期待说他能有一个能跟我共鸣的 Burnstorm 的那种蛮有意思的你刚才讲的有两点一个是 SaaS 公司一个是挑战 Google 那在这种情况下你建议 SaaS 公司如何转型呢他们需要做些什么我觉得只能积极拥抱吧组织上多用好年轻人以前软件开发的方式跟现在软件开发的方式有了 fundamental 的不同
因为以前是把固定的需求抽象出来然后一个开发团队去开发今天它就是不确定的需求
你未来要用好模型的能力我觉得这个还是有很大的不同的这个是近处那更长远一点来看 AGI 对于人类社会可预见的变化在多长的时间维度中能有多大这波浪潮中诞生的巨头会比互联网时代更庞大吗为什么我觉得首先 AGI 可能是一个科学问题还不完全是一个商业问题背后是一个叫
永无止境的 research 精神发现精神探索一些新的能力对吧抽象总结这就是用能源加芯片产出智能那未来就看这个智能的产出效率和能力到底有多高那你说智能这个东西怎么定价我另外一个比较相信的就是科技进步还是创造增量价值最大的一个要素你看历史上好像每一波技术变革的头部公司都比上一波要加一个零的
对吧然后之前觉得做 VC 投到一个独角兽就很牛然后今天好像融资单位就以 billion 为单位了钱也毛了对吧我有一个比较切身的体会就是 10 年的时候你看苹果 2000 多亿美金对吧就不会想象全球还有万亿美金的公司 16 年当时我们看英伟达
从 200 亿美金涨到了千亿美金我觉得更不会想象今天还能那么大这就回到一个今天 AI 领域最大的一个非共识就是不知道 AGI 有多大我觉得有可能就是说英伟达这一两年内登顶全球最大公司这个概率是很大的而且它长期的体量也是可能超出我们预协大的就是 GPU 这个东西太重要了然后另外一个你说这个比互联网时代的巨头要不要大因为这个东西我感觉它是跟 GDP 直接挂钩了对吧
未来你能渗透到全球 GDP 的占比直接 Tickered 那我觉得这是比较高的另外一个算法就是说如果你能造出来全球 3 亿白领每个白领年薪 3 万多美金对吧这也是一个
10 个 T 的 revenue 还不是 Markup Markup 还要成 10 对吧本身的计量单位是发生了一个大的变化的很有意思今天的融资单位变成了 billion 级别这在中国和美国的商业历史上出现过类似的情况吗就是为什么把 AGI 比作一个大基建其实中国做了很多你比如说公路建设电信 5G 的建设其实有了这些呢短视频直播
外卖包括城市化建设这是远超 billion 甚至 trillion 级别的基建的投入甚至说电商物流建设也都是巨大的投入对吧今天的 AI 投算力投新型的数据中心我觉得就是处在一个基础大基建的一个状态其实是一直在发生的你在看美国比较早的时候有曼哈顿计划造出原子弹但更重要的是整个计算机体系是在那诞生的
在后来美国的登月我觉得美国登月一个很大的意义在于电子产品微型化了才有了个人电脑 90 年代就 93 年克里嫩推了一个美国的信息高速公路建设其实投了 GDP 的 5%我觉得才有了后面的
互联网的 bubble 也好美国互联网黄金的 20 年也好我觉得都是跟极箭有关的如果没有极箭我觉得没法谈应用大爆发的那你眼中这个 AGI 关键路线登山图是怎么画的呀给我们构建一下两面一个叫南坡可能是模型一个叫北坡可能是产品我觉得模型最底层的还是 skinrock
更多数据更多 GPU 更多能源就看产出智能的效率是不是能持续提高
模型最重要能力还是 resonating 推理能力后面我觉得要有复杂推理能力才能完成有经济价值的工作任务对吧我比较看重 coding 代码能力这可能是 AGI 最早落地的一个型号它既是一个走向 AGI 的能力也是一个产品改变软件生产方式对吧然后多么太能力也非常关键就是刚才讲到的不仅补充更多的数据交互效率我觉得更期待的是多么太
能力变强对自动驾驶和机器人有提速作用我觉得 agent 也是关键词吧但今天 agent have to work 最主要是模型的 resonance 能力不够强也不够准确你看多步或者几十步推理下来其实很多任务都失败了另外一个观点我感觉就是说模型公司可能就是 agent 的公司很多的 agent 当模型本身可能就会自己做就是能不能做好的问题
我觉得接下来模型公司的一个大的附加值可能是会体现在 agent 上面的因为第一波叙事大家都讲了 skinlaw 后面我觉得大家可能就会讲 agent 这是南坡模型能力相关的我觉得你说北坡产品上就看接下来谁能做出来
上亿活跃用户的 KLAB 今天可能只有一个 ChatGP 对吧然后我是比较期待信息检索有大的变化的因为搜索之前搜出来是链接和网页现在搜出来是答案对吧我觉得未来还有多么太多搜索甚至说还有更多主动式的交互可能模型直接给你推你潜在想要的从 ChatGP 的用户增长角度来讲因为它过去大概
5000 万 DU 也横盘几个月了如果他积极地做用户增长他一定要做搜索才能突破到几个亿的活跃用户我觉得这是挑战 Google 过去 20 年可能唯一的一个技术窗口今年也比较期待看
看 Chad GP 能不能做好这个东西另外一个我最期待的就是说如果你让模型看一万次苹果掉下来它能不能发现万有引力定律如果更充足的更广的范围的数据灌进去它们能不能发现人类没有发现的问题没有发现的规律我觉得这个有可能又是一个新的文艺复兴这是很有趣的说到一个模型和产品一个南坡一个北坡
他们两个都要一家公司来做吗有可能一家公司爬南坡一家公司爬北坡吗就你看三亿最新的访谈说欧盘在做地球上最难的两个事一个是做 AGI 一个是做 KLAB 那你看 Anthropic 是专注只做 AGI 他就没有再挑战另外一个不一定非得在一个公司在一个公司其实对于组织能力对于文化对于人才
和资源其实挑战是很大的这是需要极强的领导力和资源和组织能力我看到你也问了那个问题就是模型和产品他们需要的人非常的不一样怎么把它们组织在一起呢
我觉得画像还是很不一样从量力角度想就是说如果一个产品它在解决某项任务的时候能力不行没办法向下去改模型如果一个模型公司它发现某个任务某一类任务解决不好它其实可以定向的改数据调模型我觉得这是一个简单题和一个难题的问题所以我还是相信模型公司做产品更容易这是顺手的
产品公司你想去改模型没有这方面人你改不了模型这个是比较难的所以我有一个判断有可能模型公司就是价值沉淀最后的一个地方它就像移动互联网价值沉淀沉淀在了设备厂商或者广告平台我觉得模型的附加价值后面肯定是比较高的
就一个是老黄的 GPU 收税对吧一个是模型收一个智能税突然给经济社会又加了两道税吧他们所谓的就是我的模型能力最强我就可以顺理成章地解锁最伟大的应用这个逻辑通吗他们现在有两种做法一种做法是就是我就要我的模型是最牛的我就要通往 AGI 我在这个路上去解锁应用
这是一种说法然后另一种是我也做 AGI 但同时我好像是孵化了特别多的应用就是感觉自己是个 APP 工厂这两种方法你更看好哪一种我想举另外一个例子你就看 SpaceX
它的火箭发射能力是一个基础的能力但这个能力并不是说太赚钱可能每年几十亿美金的收入也是赚钱的但是它的一个 K-Lab 就是 Starlink 星链它现在可能几百万的部署的终端了对吧每个终端还收挺多钱如果没有火箭发射这个关键能力
那其实 Starlink 发布上去它可能没法去组网那这就是它的一个 K-Lab 那有可能它还有第二个 K-Lab 就是叫 Starship 想颠覆波音空客就是未来上海到纽约两个小时未来它可能还有更多的 K-Lab 我觉得它是一个关键能力但也有另外一个说法就是说如果大模型是电那
那灯泡可能不一定是电厂做出来的所以我觉得还在一个变化的过程当中但我更倾向于大模型公司是一个基础发现的一个 research lab 有的 lab 可能有商业能力它会做出一些头部的应用
这就比较考验组织能力有可能头条这种公司可能比美国的 research lab 公司要更强或者中国的创业者这个可能也没比更强你刚才也提到物理硬件成为了阻碍 AGI 的关键因素我们现在把当下这个环境比如说 AGI 的大基建时期那 AGI 大基建现在的关键瓶颈在哪里这些瓶颈是只要有时间就可以解决的吗
我觉得目前 Botnet 就是算力和数据中心建设吧就是今天给你几万张 H100 我觉得三个月内不一定能用起来万张卡集群呢万卡集群的互联通信难度很大稳定要求很高 GPU 数据中心的能耗也很高然后降温要求高对吧很多人都在提业了比特驱动的数字世界迭代是很快的但原子驱动的这个物理世界迭代是跟不上的这就提到一个为啥叫大基建可能未来很多年
物理的机器是要很长周期的基建迭代去跟进的因为历史上都是软件和硬件交替发展的就硅谷的头 30 年就是计算的时代后面 20 年是互联网的时代今天好像又进入了一个计算的时代但我觉得好在是这些物理问题都不是 research 问题都是工程和基建问题其实随着时间都是可以解决的我觉得短期可能还是 GPU 的产能包括台积电产能包括上游的
Covos 包括 HBM 这些拆开来说一般训练出我们惯常说的 GPT3.5 水平和 GPT4 水平需要多大的算力和多少能源你看三峡单日的最大发电量和日均用电量是差不多的都是 5 亿度美国整个 Texas 德州它用电量应该是 10 亿度多一些你就假设 GPT3.5 可能是比如说 500 张 H100 训练个 15 天
大概用 25 万度电其实就是三峡电量和上海用电量的 0.05%也就是整个美国德州的 0.02%假设 GPT-4 用 8000 张 H100 训练 100 天大概是 2600 万度电那就需要三峡和上海一天的 5%德州的 2%如果你假设 GPT-5 用 3.2 万张 H100 训练 100 天其实就要 1.1 度电
大概是三峡或上海一天用电压的 20%德州的 8-10%你要算这个成本的话就是每张 H100 租用的话最低应该是 3-4 美元一个小时大客户还能更便宜一些比如说如果要训练 GPT-4 需要多少钱对于一家巨头或者一家创业公司来说我觉得一个 GPT-4 现在最低可能也要 8000 张
H100 的有效算力吧那接近一个万卡集群你要是买卡的话每张 H100 售价 3 万美金你看每张 H100 大概是 3 万美金再加上周边设备 3 亿美金是少不了的 3 亿美金是 GPT4 的入场券对做这一个模型那现在有些公司是可以付得起的对吧中国公司对当然你也可以租如果是租 H100 一年如果折扣比较好的话 1 万多美金一张卡
所以就是差不多一到两亿美元也是 OK 的中国公司很多也是可以负担得起的对吧但是今天的万卡集群中国还是比较少的它的瓶颈不在钱上万卡集群这个是个标配标配它是有钱是不够的很难的每个卡都要连起来这种互联的难度其实很难的
它那个网络透普结构是很复杂的就不是说一层网络其实三层网络这里算了一从千卡集群到万卡集群再到现在三万卡集群中心造价成本是多少难度有多大你算每张 H100 售价三万美金对吧再加上周边设备互联网网络这些其他可能差不多四万多美金八千卡就意味着三亿多美金 3.2 万卡集群的话就意味着 12 到 13 亿美金
我觉得明年可能就是说标配就得 10 万张卡差不多四五十亿美金我觉得最难还是资源越来越集中收敛能见大集群的客户是很少的我觉得会收敛到只有四五家大客户影响难度的因素可能就是说你首先得找到适合 GPU 数据中心的土地对吧然后稳定而且比较便宜的电之后是数据中心的互联通信
降温因为的可靠然后还是回到那个问题就是物理世界的东西比数字世界的东西改造的是要慢的会收敛到极少的四五家客户他指的是谁呀微软 Meta AWS
微软包含 OpenAI 了 Google 有自己的 TPU 它可以很大集讯我觉得就比较少了 XCI 可能也是一个大基建现在有哪些公司在投资进展到什么程度了你就看英伟达 GPU 出货量和 TPU 的出货量或者计算台积电的产能微软和 Meta 可能得买走了 1/3 的 GPU 的数量我觉得你也可以看硅谷最大的几个生意第一波最受益的还是芯片芯片里面最重要的还是
因为它台积电对吧那第二波其实是广告平台就卖它广告变现效率还在提高 Google 广告变现效率可能还在提那第三波我觉得是云场上因为芯片和模型都要跑在云场上的整个企业客户的继续上云的需求还是很强我觉得云场上未来每年很长时间保持年化 15 的符合增长我觉得是有可能的我觉得最后可能是说两
两个终端一个是苹果一个是 Tesla 我觉得这都是大基金最重要的几个关键玩家吧大模型对于英伟达和芯片的业务的影响有多大这个不知道具体的你就看微软给 OPEN 投了 130 亿美金对吧然后这个大概能买三四十万张卡另外一个角度你再算英伟达 HP 的出货量今年可能 400 万片如果 5%的比例给到 OPEN 那可能它每年就要新增 20 万张卡
每张卡 3 万美金再加上其他设备其实可能每个要 5 万美金了其实一年就要新增 100 亿美元的硬件投入
其实这样算好像 opend 的钱也不够我估计他比如说还得做更大规模的融资另外还有一个有可能他的卡就是从微软租的他想到每年 H100 可能就 1 万多美金说明头部的 AGI 公司其实每年至少都要几个币的投入的而且可能要投很多年这些大基建的成本有可能分摊出去吗必须要是模型公司自己承担吗谁给承担比如说政府
我覺得有可能你說中國有可能還是美國有可能我覺得都有可能但是現在沒有看到對吧現在還是模型公司自己在投入我覺得未來有可能隨著主權 AI 這個概念更深入政府去投資一家模型公司我覺得是有可能的
而且大比例投资只能投一家可以投多家而且你看欧洲也有 Mistral 对吧我不知道欧洲是不是一个独立或者半独立的市场如果欧洲的资源怼到 Mistral 有可能他就得拿政府的钱了
你预期 AGI 基建的时间表是怎么样的达到什么程度意味着这个基建是完成了我最近的感受是 AGI 的时间表肯定拉长了最主要是去年太兴奋了觉得两三年 AGI coming 对吧我觉得现在预期更长了就说为什么叫马拉松对吧至少
拉长到 3~5 年甚至 5~10 年当然也得动态的看每个人对 AGI 定义不一样比如说你去年就会预期能看到 GPT-5 对吧能力而且很强可以超过一半的同事我觉得那会预期太高了原因是啥呢就是说
去年这时候 OpenAI 先后发了 ChaiGPT GP3.5 GP4 大家觉得节奏很快但其实你看这些模型背后都是他们提前 train 好很久了只是去年这个时间点同时发出来了但其实你看过去一年当中其实是没有较大幅超越 GP4 的模型出来的这里面其实说明其实训练大的模型其实很难的它不仅是一个 AIML 数字化的问题我觉得还是很多物理意念问题比如说
实际的 H100 规模化的到货其实都是
去年底了 Q4 然后你数据中心建设都要几个月然后还要把利用率提上去就是人的预期可以飞得很快但是物理世界我觉得是跟不上的比如说你跑步你有意志力和体力跑马拉松但是膝盖一个小环节跑不下去就跑不下去那膝盖的问题可能不是膝盖的问题还是肌肉的问题那肌肉的问题有可能是训练方式的问题所以我最近一个强烈感受就是说 AGI 的时间表跟
物理硬件机器的迭代是高度相关的才能支撑数字世界持续迭代我觉得大基建是看不到
结束的那天过去几十年我觉得半导体是很伟大的一个发明而且这个还会继续大基建周期预计全球投入花多少钱泡沫有多大你看 24 年 GPU 产能差不多 400 万片对吧然后 25 年可能 600 多万片未来每年符合增长可能都不低于 30 再过三四年后 AI GPU 应该是一个三四千亿美元的产业规模这里还不包含 Google 的 TPU 和
SX 芯片对吧我觉得更值得提一下的是像美国的比如说曼哈顿计划对吧现代电子技术的一个起点然后美国的登月太空竞赛包括克林顿去建高速信息网络也花了 5%到 6%的 GDP 更有意思的就是说
你看中国过去基建搞公路搞城市化搞 5G 我觉得这是催生短视频外卖直播电商很重要的我觉得基建来了应用才能大爆发我觉得这是一个点 AGA 还是一个刚开始其实长期看不算泡沫我觉得你把钱交给最厉害的科学家有时候你一个新的发现是带来很大的一个经济价值的突破的甚至社会价值
大基建的这个时期其实会贯穿着整个通往 AGI 这条道路还怕不是说到一个某个时期就结束了首先我觉得计算这个事的迭代可能停不下来你比如说单颗芯片现在的摩尔定律还在提依然没停下来但进步速度变慢了但现在老行业在提整个数据中心的摩尔定律它通过互联对吧这些东西把整个数据中心变成一个大芯片再用这样的方式继续
还有另外一种就是说未来还可以跨数据中心能不能效率更高我觉得这个是听不下来的如果你要非要说一个时间我觉得可能 10 到 20 年就是一个大基建的周期吧你觉得中国的 AGI 大基建和美国的 AGI 大基建两边的区是差异是什么我觉得美国历史上还是有大航海发现精神包括美国东岸登陆了开垦整个美洲大陆对吧
然后包括曼哈顿包括克林顿我觉得这个是一个面对不确定性的乐观的冒险精神其实最主要的原因还是资本和退出比较充足付得早然后有足够多的钱来支持房东门头零到一的试错和发现历史上你看很多零到一的东西确实是美国搞出来的不管说芯片计算机互联网甚至还有东安的那些制药他们的文化里面好像有这种叫重投入的一个传统而且相信科学
但是另外一个就是有时候你感觉硅谷的 VCA 有时候不争气他们几乎全线 miss 掉了大模型的投资好像这些人对大模型的理解我觉得也不一定很深入全都是巨头在支持的中国的 VCA 好像更争气一些就是还投了国内的几家大模型公司从零到一起来对吧有可能是硅谷 VCA 以前在重资产的吃过亏对吧
当然他也 miss 掉了 Tesla 或 SpaceX 这些公司对吧其实在这波 AGA 的浪潮之前机器人在他们那边都属于一个边缘赛道但现在是硅谷最火的赛道硅谷 VC 喜欢叫小钱办大事但我觉得这次不一样了有可能整个硅谷 VC 最擅长的小钱办大事包括投 SaaS 这个最后价值链是发生了一个大的变化的就是价值会沉淀在模型这里面可能大家都是要交学费的如果你回头看中国我感觉是我们解决问题的能力很强
但提出新问题的很少 0~1 很少但 1~100 很强你说中国能不能做 AGI 的大基建但现在就是一个卡的问题你就只能为了期待国产芯片期待华为的卡未来更好对吧另外一个不一样就是说美国真的在做 AGI
今天呢 中国还在真正的追 GT4 以及追神尸低明还是说那个辨识度的问题差异怎么拉开 对吧大家可能过了 3.5 的水平但 3.5 到 4 这个跨度其实是不小的你说美国 VC 喜欢花小钱办大事但这不就是 VC 的本质吗 一小波大那你看电商的投入也很大
快递物流的投入也很大其实我觉得好多产业可能有很多的投资方法不同其实门派可能还是比较多的就是 VC 最应该是小钱办大事但是也有需要大钱的时候怎么看这次中国的 VC 看起来更真气更有出息这件事情他们为什么会支持这么大投入的大基建因为美国有对标
其实你看很多这些
都还是喜欢投有对标的东西是就我们擅长解题嘛 Mask 不是也提到了能源问题吗 10 万的 H100 意味着什么它是需要多少度电美国的能源结构和中国能源结构有什么不同吗中美能源结构还是有很多不同的就是说 10 万 H100 用电量一年大概是 12.41 度大概是整个上海用电量的一年的 0.8%大概对应美国整个德州的
百分之 0.3 你再拉长看一下就说美国一年的总的用电量在过去 20 年里都是一直比较稳定的大概都是 4 万亿度其中数据中心可能用 2000 亿度吧
大概就是 5%对吧但你看媒体现在都预测说到 28 年数据中心用电可能到 6700 亿度电就是 5 年涨三倍就从 5%增长到 16%这个其实对制造和基建能力明显退化的美国来讲我觉得挑战是很大的能源转化效率可量化吗那就回到 AGI 的一个本质就是说电加芯片产出智能今天主要是给智能怎么定价的问题你开车就是
一脚油门从 A 到 B 对吧可以计算单位里程的能耗但今天最主要问题是没办法给智能定价我也挺好奇未来怎么定价的你现在所有的 AI 产品定价都是 20 美元一个月对吧这还是 Sys based 的我觉得未来能不能有一个叫 Value based 的
按照智能的 value 来 pricing 在基建上模型公司如果想跨越生死线它有一个基本的标准吗在基建投入上呢你就看未来 12 个月能不能有 10 万张 H100 的机群这个大概是 3、5、10 亿美元这才是明年第一梯队模型的一个标配吧计算可能就是很残酷的未来可能更残酷每个时间阶段可能都会有模型公司
持续的出局吧我们聊聊 Skeleton Law 今年对 Skeleton Law 有什么新的认知吗它是加速增长线性增长还是它的增长放平缓了你从细节来看就是 GPT-4 公开的是 1.8T 的参数 MOE 架构对吧
大概 train 了 13 个 T 的数据大概是 2.5 万张 A100 训练了 100 天外界都在猜 GPT 下载模型能 scope up 多少倍我们就假设如果它三倍参数三倍数据那就是九倍的 comput 对吧那你看老黄公布的 3.2 万张 H100 的集群你再加上一些
优化效率的提升是刚好外置的你要说想 10 倍参数和 10 倍数据的提升那就是 100 倍的 computer 提升很明显现在 GPU 算力基础是不够用的又回到那个大基建问题就是物理机器的平静今天是没法 skill up 的我觉得今天可能增加数据可能比增加参数 ROI 明显要高的好像高质量的数据永远是不够用的因为之前很多人提文本数据不够用了嘛那你通过今天不管说合成啊改写啊很多可能能扩大个
小几倍今天让你拿出来 GPT-4 十倍的数据可能 100 多 T 的高质量数据其实很难的我觉得可能没有人能拿出来的然后另外还有一个难题就是说你怎么把多模态的数据跟文本数据一起拿来训练这是很难的还有很多 research 问题因为它很容易伤害到原来的模型我觉得今天对 Skinlaw 一个观察就是说
GPD5 的数据可能是够用的但 GPD6 肯定还是要有些突破的所以就是未来一两年我觉得 SkinLaw 没问题但后面肯定还是要突破的如果非要说一个结论我觉得 SkinLaw 是没有减速的如果说变慢了我觉得就是算力和数据没对勾
你看 GP3.5 走到 GP4 可能大概用了二三十倍的算力提升那 GP4 走向下一代我觉得今天还没怼够二三十倍有效算力的但我觉得只要有了有效的算力和更多的数据肯定还是会有新东西出现的我觉得这会影响到整个格局和大家的关注度围绕芯片围绕互联
我觉得接下来两年除了 research 问题可能最头部的模型公司和大厂可能我觉得至少花 50%的精力解决算力和互联的问题所以这不光是一场 research lab 关于 research 的竞争我觉得更像是一个巨头的博弈对人才 对用户 对算力甚至对舆论 股价这些你看微软也比较有意思就是又去投了欧洲的 Mistro 然后又收购了一份
Infliction 自己还在 train 到模型所以它跟 OpenAI 的关系我感觉挺复杂的你评价一下微软这一系列动作在最稳的位置站住最稳的位置
对站住最稳的位置云还是最大的声音 Skinlog 接下来走下去会有瓶颈吗能走多远我觉得就看两个关键要素第一个还是数据第二个是 GPU 电力不是一个 research 问题这个是通过投入还是能解决的吧我觉得反正现在 Skinlog 这个问题的结论就还是首先物理计算的瓶颈吧
所以你看 3MT7 个 T 什么吧啦吧啦造芯片我觉得还是很有道理的另外一个就是效率很重要就是一个是 compute 的效率一个是 data 的效率有个有趣的衡量大家效率的就说同样训练一个 GPT3.5 水平的模型你到底需要多少张 GPU 要多少数据结果有可能是差别很大的有可能有的人需要几千张有可能有的人需要 300 张这个论质很大其实最后 AGI 的本质就是能源加
芯片产出智能的效率那这个效率最后能有多高吗那另外最近我觉得还有一个点就是说我觉得从架构上 agent 这个东西到底能不能完成有经济价值的任务复杂任务 next token 这个架构到底能不能解决长期规划的问题这个是接下来我觉得最值得关注的不然如果不能解决任务最后这个 skilling 下去意义是不大的模型会无限变大吗
我觉得会无限变大参数再大 10 倍 100 倍数据 10 倍 100 倍甚至 1000 倍 train 大的模型我觉得是为了探索能力边界我觉得这还是一个科学发现的问题但大家都会 train 更小的模型满足商用成本很低你比如说 Google 也是 Opi 也是对吧 Opitrain 了 3.5 我觉得也验证这种事情我可以用 SATA 模型比如说 1%到 10%的资源 train 一个更小的
但从能力上其实是能覆盖大多数的 query 的场景的其实不见得比 Solta 模型差很多但成本低了一到两个数量级其实今天从头 trade 一个 GPT3.5 需要的卡是比较少的这里有一个科普的基本公式就是说训练量其实等于参数量乘训练的 token 数量再乘 6 举个例子就说你比如说 GPT4 是 1.8 万亿的参数
它有 13 万亿的 token 再乘 6 其实就等于 25000 张 GPU 当时是 A100 对吧它大概是 19.5Tflops 就是 19.5 万亿次的计算然后再 60 秒 60 分钟再乘 24 个小时再乘 100 天还要再乘一个利用率就是一般的利用率能到 50 就是属于比较好的可能最强的可能到 670Skinning Law 能通往 AGI 吗
应该说目前这是最大概率的一条路线我们没有找到除了这条路线以外的其他路径所以在没有证伪之前可能要对更多的资源去验证这个事你的一个观点是 2024 年是大模型公司的收敛之年 2024 年创业公司或者巨头要投入多少资金能够越过这个生死线呢我觉得未来十二个月就看能不能有十万卡的 H100 集群
可能三五十亿美金的投入对计算这个是比较残酷的未来可能更残酷每个时间段可能都会有出局的吧技术上的生死线基础设施上的生死线分别是什么我觉得技术上今年内必须得超过 GT4 了背后可能是需要一个很强的团队你比如说 Mask 的 XY 这个团队很强对吧二三线模型公司包括国内的模型公司你就得超过最好的开源模型不然你的商业价值也
比较小 算力上你今年必须得用上万卡集群了其实能做好万卡集群的公司还是比较少的全球来看最后能留下几家 AGI 公司包括巨头和创业公司也包括中国和美国我觉得美国可能是四家 OpenAI, Anthropic, Google
马斯克的 XEI 欧洲的话我觉得 Mistro 是不错的但不确定欧洲是不是一个独立市场以及他们能不能拿到更多的资源比如说万卡机群以及未来更多看中国的话字节这个公司是决心很大的而且他们业务先进流很好刚才聊到每年可能有几个币的投入我觉得 Total 它是
有利润支持大基建和马拉松投入的现在 2024 年刚刚过完一个季度对于 AGI 的演进接下来三个季度你有没有一些预测更多的期待了你比如说 OpenAI 的下一代模型
它的 scale up 幅度到底有多大我觉得这是观测 skin log work 的一个最重要的指标以及这个模型会涌现出哪些新的能力今年也比较期待看到 OpenAI 这个公司做产品能力怎么样做的产品好不好如果他们做搜索做信息检索到底会不会对 Google 产生 fundamental 的影响我觉得多么太也特别重要
多姆泰对机器人和自动驾驶的影响是最大的机器人可能还是得依赖多姆泰的突破才能有提速和爆发吧另外就是提到的收敛我觉得年底可能就会收敛到几家了还有一个就是开源会不会有 GPT-4 水平的开源模型出来对另外一个比较期待的就是说你看 11Labs 包括 SUNO 最近也挺火的就是我好奇比如说单一模态的创业公司
如果它只做模型可能是比较危险的但是如果它把整个产品一遍做得很好其实好像也是有壁垒的 XGPT 和 Sara 属于 AGI 路上的什么样的路标我觉得 XGPT 成功还是有很大的偶然和运气成分的让 AGI 这个概念进入千家万户科普和募集更多资源的帮助更大吧
我觉得确实是一个里程碑吧 Sara 的话其实好像和 AGI 和走向智能好像没啥直接关系我觉得这也是一个很大的非共识刚才也聊到但我觉得 Sara 更多的说明是说多派能力进展会很快
OpenAI 战线铺得更广了我觉得好像不是那么高度的聚焦在 AGI 这个事复刻 SORROR 难吗模型规模有多大大概需要多少算力数据以及数据来源是什么 OpenAI 没有公开 SORROR 的数据情况但你看它那个技术报告里面我觉得是能估算出来一些东西的就是说它提到训练环节是 LM 的好几倍我估计可能比如说大概 4000 多到 1 万多卡
H100 做一个多月的最后训练这个还不算前期的实验探索推理的算力消耗也是很大的如果生成 TikTok 一天上传的量这个大概是 1500 多万分钟推理的成本跟训练的成本差不多所以这两个成本都是很高的还有一个可能就是说他们肯定也要采集收集可能几千万上一个小时的
视频数据而且要给这些视频数据打标签比如说他们有 GPT-4V 去给视频打标签对吧这个一般团队弄不了的
你打标签这个成本就很高到底什么数据我觉得是不知道的这还是挺核心的就是说那肯定是 YouTuber 也会用对吧然后他自己甚至或录很多游戏的因为你看 Sour 它生成的东西就跟微软 Xbox 打游戏的感觉挺像的我觉得可能也会用一些 maybe 游戏数据我觉得数据是很关键的就你看皮卡生成的动画效果是很好的比如说很多皮克斯的相关的对吧最近他们那个 CTO mirror
好像说他们有机会把推理成本降到跟图片生成的推理成本差不多那时候他会公开 release 他到现在都还没有让我们用对那你怎么看他们这种传播策略早早的就给我们看他的 demo 我觉得是不断的 release 一些新的进展给大家和外界更多的信息但他并没有把它产品化骚扰的产品形态今天怎么定义出来都不清楚
以及成本也是一个很大问题我觉得一个是产品形态一个是成本问题创业公司应该跟进骚扰吗我觉得很凶险如果谁有信心融资能力很强比如说融到几亿美金三四亿美金其实它需要的数据难度是介于
LM 跟机器人之间的而且获取数据的难度很大卡和数据的成本都很高但是呢最后 Sara 产出的结果我觉得还是有争议的就是视频等不等于智能是不是一定要做到效果最好才有人买单更看不清吧我觉得创业公司还不如想想下一步怎么定义 Sara 的产品形态和未来 AI 内容的消费形态
你今天对于 GPD5 的预测是什么它会什么时候到来夏天或者下半年但这个都是瞎猜测那个我觉得最期待一定会是今年吗如果再不出来它是不是有可能出 GPD4.54.5 肯定会更快吧但 4.5 相比 4 能有多大的提升我觉得这还是不确定的我觉得可能不会有 Foundamentals 大的提升如果是 4 到 5 才是待机上的提升吗
才能有更多值得期待的对于 GP5 期待的我觉得是看有没有新能力能不能解决复杂任务 agent 能不能落地只有 agent 真正落地能做长期的复杂任务了才比较重要吧不同模型之间的迁移成本高吗一方面你随着模型能力变强其实 prompt 相互理解能力是在加强的其实模型迁移成本是很低的
但你随着模型周边的模块附加的东西越来越多比如说整套的 reg 对吧基于模型设计的不同的任务和 agent 也越来越复杂其实我觉得未来迁移也会变得越来越麻烦因为这里面细节工作也会越来越多但是有一个点就是说好像大家对开源模型没啥忠诚度之前觉得 Lama 最好现在觉得 Mystral 最好可能未来如果 XA 更强的 Gorok 开源了有可能也更好我感觉好像
中程度也没有那么高哪个好用就用谁啊以及成本非常重要你想 Cloud3 的成本比 GD4 还是要便宜很多影响不同模型最大的因素是什么呀如果只说一个我觉得就是数据吧因为大部分的模型的架构是比较统一的就是 training 啊包括各种 recipe 其实也比较统一其实我觉得影响模型效果最大的还是数据就是数据决定了
这个模型作为产品的特点其实也就说数据决定了这个模型的性格吧但数据其实是一个很系统的工作然后
OpenAI 我觉得同时具备数据的经验然后数据的基建然后也愿意花精力去搞数据对很多 research 来讲数据是很多脏活累活的很多人是不愿意干的其实有很多公司人才密度很高但其实数据并没有做好比如 Google 一方面 Google 是你用有版权的数据大公司的
包袱更重嘛 legal 要更关注另外一方面每个人想做的东西都很多你加上去这个 lexi 就比较重最后方向没有拦到一起不同模态的模型他们的上限和优势是一样的吗我觉得上限最高的还是大语言模型和 coding 视频上限也很高
我觉得上限低的可能是声音图片上限高的智能能力强的公司是有更强的优势的我觉得上限低的你就必须得做好产品保证自己的优势
为什么前面几个比后面的图片和声音更高啊?他的上限。你就看数据量也更大,数据的丰富度也更多。你认可朱小虎的观点吗?他说 AGI 至少 5 到 10 年是看不见的,智力级别的提升首先需要能量级别的提升,可控和巨变实现前,他不相信地球有足够的算力能够实现真正的 AGI。
帮人类降低 90%的工作可能未来 3 到 5 年可以实现但最后的 10%可能需要天亮的算力和能耗这也是为什么 SAM 想要融天亮的资金的原因对我听了那个播客我觉得大部分的观点是认可的虎哥喜欢小钱办大事我觉得这是 VC 非常经典的一个
对,但你回头看比如说微软第一台计算机出来的时候,Gaiz 其实也不相信说内存从那个时候的多少个 K 到今天多少个 GB 对吧?然后我觉得我们还是相信摩尔定律的以及模型的计算效率会大幅的提升推理的效率也会大幅提升然后硬件的 memory 模型本身的 context window 也都能提很多我觉得如果这些比较复杂的东西都提上去之后
一个人真的可以把自己所有的历史的 context 都去运行了我觉得那个时候可能还是会解锁很多的新的技能的比如说虎哥提到降低 90%的工作如果真的做到 90%了三到五年时间我觉得这个就已经很乐观了剩下 10%那才是人类的价值啊
我比较同意能量量级需要升级这个观点就是说你看很多数据中心现在都建在核电站旁边对吧 AWS 最近收购了一个美国最大的核电站旁边的数据中心
六七亿美金我其实对 AGI 的理解我觉得关键词就是说那个渐进是解锁它其实不是一蹴而就的也不是说非要到某个 AGI 的临界点其实你看今天 Tesla FSD 的安全性已经超过平均司机的水平了那 CV 是比包括推荐的效率也比人已经高了很多了对吧我觉得对五到十年内看到 AGI 是充满信心的吧我就相信科学会有突破相信这帮科学家
可能还是跟曼哈顿啊登月啊跟克林顿的信息高速公路建设我觉得是一个事情吧他还有一个观点是 GPT-5 以后他觉得技术曲线基本就会放缓现在看语言模型进步差不多见顶突破在多摩泰 Zorro 在发布三四个版本也能见顶你怎么看他的这个观点就是技术迭代曲线会不会放缓的问题我觉得技术有可能遇到短暂的瓶领
但我觉得后面还是会有跳跃吧过去一年可能就是第一波小升了我觉得后面还是会有一波更大的主升了我觉得中间有卡点也是技术发展的正常的因为技术发展好像都不是线性的吧很可能遇到平台期停滞两年再跳变跃升有一个更大的主升了
我觉得这个可能就是一个科学发现的过程几十万张卡训练 AGI 我觉得可能比登月对人类的意义更大我觉得会有更多的新发现包括未来下一代模型你的体感的刺激上是会降低的但经济价值我觉得是刚开始落地的我觉得后面比较期待模型公司都会做好 agent 附加值就会提上来了其实我觉得模型今天作为一个新的平台确定性已经非常高了
OpenAI 凭什么估值 1000 亿美金你把 OpenAI 看成微软的 AI 部门微软因此涨了有一个 T 到 1.5 个 T 那你看 Tesla 的 AI 都可能值两三千亿美金你对 OpenAI 有了更多的新的认知这个能不能展开讲讲今年以后
首先是 AGI 的时间表可能拉长了以前就两年第二我觉得 AGI 公司一开始不应该太激进的做产品好像 OPPA 现在也很激进的做产品第三我开始理解了渐进式解锁 AGI 它不是一个一蹴而就的你非得把这个火箭发到月球上非得实现 AGI 才能解锁其实过程中会不断的解锁
你刚才也提到这个观点你觉得今天的理解有什么不一样好像它的节奏变慢了一点我以为 Cloud3 发出来之后它就得发下一代模型了因为你看 Sota 已经易主了一段时间了就很多人以为他们可能 train 好了憋着没有发对吧
那我觉得不一定像跟剑记那个更慢了一点我觉得慢的原因是物理的平静为什么突然想到了大基建这个关键词所以物理的迭代没有数字的迭代快我觉得这是我最大的一个感受其实很多还不是 AIML 的问题我觉得是物理的是于中心的问题这是这帮科学家有时候碰到我觉得更头痛的问题
OpenAI 开始更激进地做应用了,意味着什么呢?那你一边做科学发现,一边做商业化,要把这些科学发现的价值给接住,我觉得这个也很 make sense。这个也意味着说,OpenAI 也会给一部分创业公司去抢一些市场,肯定还有很多垂直行业它也做不了。
对吧我觉得这可能是一个然后我猜如果我是 SAM 的话 AGI 如果有 10 年每年都需要几个币甚至 10 个币的投入我是需要商业化的我是需要有不断的持续健康的现金流来支持 AGI 这个事的纯靠融资是很难融到那么多钱的你也不能只依赖微软嘛
所以我觉得健康的走向 AGI 我觉得这是一个比较关键的你觉得有什么是 OpenAGI 公司做的有什么 Sam 一定不会做的就你看 Sam 最新的访谈
他说 OpenAI 在做地球上最难的两件事一个是做 AGI 一个是做超级应用我感觉 OpenAI 在 2B 企业侧其实可能更难一些因为企业客户还是一个讲信任的生意因为大家觉得 OpenAI 容易瞎搞你把所有的企业业务流程放到 GPT 上大家有点不放心对吧但我觉得微软在企业的客户信任太深了我觉得 OpenAI 的 2B 的价值有可能会被微软拿掉很大的一部分
OpenAI 必须要做好的是一个是模型最领先一个是 2C 这块我估计他可能是想做成一个流量入口垂直领域不一定会做因为占线要拉太宽了但是垂直领域的数据我觉得他可能都会持续的加上去要把一些 Use case 给做得更好你比如说让他去做法律做金融做教育我估计可能不一定但我比较关注 OpenAI 会不会做机器人他们以前做过机器人觉得太慢
但最近一年好像又投了三家机器人公司现在还是一个扶持的状态我觉得如果机会到了他有可能会做机器人的因为机器人从数字世界走向物理世界这还是 AGI 比较关键的我觉得如果是我的话我会先把 ChatGPT 从 5000 万的 DU 做到三个亿的 DU 有可能这个就会对 Google 产生 Fundamental 影响了或者说这就多出来一个很大的增量价值了因为你看 ChatGPT 现在可能还不到 1000 万的付费用户
如果我做到 3000 万的付费用户我这样一个就是每年 60 亿美金的订阅收入那就可以比较健康支撑我 AGI 每年的投入了你拿 Mega7 来对比的话其实你看 Open 很难跟
微软去抢 2B 的市场呢也更难跟英伟达去抢芯片的市场也更难跟 Apple 去抢终端了我觉得大概率 Google 是个软柿子嘛那就去抢信息检索的市场这比较 make sense 以及谁的模型更领先嘛所以这也是你对 OpenAI 下一步的预测你能不能预测一下 OpenAI 接下来的会做什么
上一次播客发了以后很多人说去年底说了很多今年初就应验了我觉得还是更强的模型以及 TRACKGPT 活跃用户的规模怎么再翻个三五倍甚至更多挑软 狮子捏马就打 GoogleGoogle 那个太肥了怎么看他 Sam 说的 7T 美金的融资中东会在全球大模型战局中扮演什么角色我觉得微软跟 OpenAI 应该做 SX 芯片
我觉得起码要具备这个能力因为如果 AGI 是一个长跑十年对吧我觉得今天肯定要做准备我觉得有意思的是不是会有一个新的芯片联盟出现芯片联盟主要是今天英伟达卖太贵了三万多一个卡如果让中国公司产有可能达到几百美元一个卡就是卖太贵了就 7 个 T 这个显然就太多了我觉得肯定不会有这么多钱但肯定也需要很多钱只能说中东可能是一个潜在的最大的出资方
芯片联盟可以怎么做其实你看 Google 的 TPU 就是自成一体如果 SAM 融到了几千亿美金你想它要收购什么呢我觉得肯定要收购一个芯片团队拉着微软和几个大的甚至说方坠它有可能做不了
但是做一个自己的 ASIC 芯片我觉得是 make sense 的就像 Google 有 tpu 一样因为 OpenAI 可以把 AIML 的问题都优化的很好但是还改不了 GPU 这个没办法 Google 是 full stack 全都可以改这是 Google 优化能力很强的一个点你看 Google 是一个整体全都是自己 own 的公司从上面到下面有自己的 tpu
但 OPEN 跟 Google 最大的一个差异是没有自己的芯片 OPEN 想去改芯片想去降成本想去 skill up 芯片它是没办法的那你从英伟达的角度来讲我宁愿给多家大模型公司芯片我也不能只给一家大模型公司芯片那所以如果是我的话我觉得还是一定要
做自己的 SX 芯片的你也提出现在大模型是集团军作战上次我们聊过硅谷的公司的结盟的问题你觉得接下来会有更多的结盟吗我觉得马斯克的 XCI 长期不排除会并入推特 Tesla
然后你看微软 OpenM 目前还是很稳定的 AWS Anthropics 是互相被迫深入绑定我看 AWS 的销售已经开始全线卖 Cloud3 了然后 Google 还是自生一体我觉得欧洲的 Mistra 必须得抱个大腿了他们之前效率是比较高的可能 2000 张 H 卡未来一年就是得想办法融到 1 到 3 个币万卡集群如果没有这个我觉得后面可能也可能掉队比较期待的是 Apple
英伟达,Meta 怎么入局吧 Apple 你有关注到还有什么新的动作没有它发了一些小的模型但我觉得 Apple 短期追上 G4 水平还是比较难的但是手机还是最重要的一个入口和习惯我觉得 Apple 的位置长期是比较稳的我觉得 Apple Trim 很大的模型今天看好像还是追不上 OpenAI 的
但是他们肯定是云和端结合的有可能我觉得会调用多个模型也不是没可能你怎么看他们放弃了造车我觉得还是美国的制造业不太行然后也没等到自动驾驶来他们设计太超前了还有一个 Apple 的因为很多人都在提 AIPC AI 手机但
但其实真的把一个大的模型变成小的模型装到端上这个是很难的因为现在 1B 的模型做不了太多但手机跑 1B 的模型能耗要求的是比较高的我觉得这个又回到那个物理问题物理迭代比较慢如果你手机放一个比较大的模型那你内存要很大电池要很大那这个手机迭代是比较慢包括 Tesla 的 FSD 在端上因为它要 Latency 要求很高也不能太大
你觉得英伟达会绑定模型公司吗我觉得有很大可能会绑定谁呢谁最相信 skinroll 那场上可以选的也不多没必要选后面的了如果我是英伟达我不希望 open 还一家独大我肯定会多扶持三五家更多卖卡
如果 OpenIE 加多大那英伟达 PE 又得下来一截那你怎么看最近几个月中国大模型公司和巨头之间的结盟动态阿里有很大的动作投了所有的中国的模型公司
好像主要是阿里吧我觉得云还是一个比芯片和模型大个三五倍的声音未来我觉得更多的企业的生产流程各种数字化流程还是会跑在云上云未来 10 年可能符合增长都是 15 以上的但这里面价值链分配比例我觉得会发生变化所以我觉得阿里也得必须要投入就期待阿里新的 CEO 吴玛是不是像微软的 CEO Satya 一样
能让阿里这种大象起舞的一个人那他为什么就是同时分散投到多家而不是重注一家呢辨识度辨识度不够高因为我的投资也可以绑定算力消耗最后钱都还是要回来的如果我投出去一块钱训练又花一块钱我的 revenue 又多了一块钱那我的市值也可能又是十块钱那是一个还是能算过来账的事情
我觉得这个账很稳云还是很稳的
AGI 时代的 Keylight App 现在能看到模糊的方向了没有我觉得不一定在意 App 的形态出现因为 App 还是一个互联网的产物然后也有可能就是更随时随地的一个 agent 或者 multi-model agent 更不一样的交互你比如说信息检索我觉得就是一个潜在 Keylight 的方向比如说现在我用 Cloud 3 跟它灵感的激发 Brainstorm 我觉得是蛮好玩的
然后另外就说软件的生产方式可能会发生很大变化自然语言编程应该是一个确定性比较高的吧人人都是产品经理有需求就可以生成一个软件我比较期待 Agent 今年能有一两个比较好的 use case 出来今天你说 Agent 好像你说不出来啥 use caseAGI 时代硅谷的 VC 现在都在投一些什么他们去年在 AI 上投入大码今年是更激进了还是更保守了
我觉得硅谷 VC 的投资主题好像是叫三大件 coding agent 和机器人不过这三大件我觉得还是有很大怀疑的就是说 coding 一定是在大模型公司和微软的核心社群以内的因为核心能力都是来自模型公司这些 coding 的创业公司他不会称自己的大模型我不确定上面优化层的价值有多大另外我感觉模型公司可能会很激进的做 agent 因为这个附加值还是比较高的
模型技能力 模型技应用对吧 模型技 agent 我觉得整个价值沉淀我倾向于短期还是模型本身看 cognition 包括 magic 其实还没有啥收入甚至没有客户就两个币的估值了所以你看硅谷的对 coding 的 hype 我觉得还是比较高的机器人我感觉现在是很多 researcher 创业的首选因为比较容易讲故事觉得未来会有一个 embody 的 open AI
反正 OpenAI 最近也投了几个我觉得也许是一个好的 timing 就得 battle 对一个好的比较强的团队我觉得核心是未来能不能融更多的钱以及让核心的 researcher 都更收敛对我觉得投资结构上整体属于正常肯定是有一定的 hype 就是估值比较贵
这一代大模型技术对于自动驾驶技术的影响是什么呀对于之前那些自己不造车但是做自动驾驶的公司影响的多大你怎么看 TeslaTesla 股价现在是不乐观的因为车的销量甚至说都在负增长欧美比较疲软然后中国的竞争压力很大因为造车这个基本盘业务其实是比较悲观的因为你看它汽车销售业务可能就 150 亿美元利润可能给个 20 倍的 PE3000 亿美金
那 Tesla 的 AI 业务可能就值另外的两三千亿美金但好像华尔街又今天还不是很认 FSD
因为最主要是 FSD 今天好像没有对新车销售带来 fundamental 的影响以及带来新的商业模式所以你看马斯克最近也提了 Texi 这个业务对吧我自己对 Tesla 一个感觉就是如果它股价还会继续跌比如说跌到了甚至 100 出头我自己还是会愿意去买一点它的股票的我觉得 Tesla 的机器人团队还是全球最好的机器人硬件团队吧
我觉得后面也比较期待就是 FSD 对汽车销售到底有多大的拉动以及能不能彻底解放注意力如果你今天不能彻底解放注意力哪怕你要接管一两次两三次你那个心思还是要盯着防线盘的我觉得 Tesla 还有一个更大的可能性就是对汽车行业的变革未来能不能真的没有防线盘了或者卖车免费真的说把车的里程价值做得更高真的把 Taxi 做好
但还是回到物理挑战,就是美国制造业不如中国强所以我觉得这个变革可能不会那么傻如果你说大模型对自动驾驶的帮助我觉得你比如说它的多么太能力变强了把采集到的这么多的 Counter case 全都能更好的筛出来了更好的解决 Counter case 的问题我觉得这个效率上还要更高你比如说大家如果在三番的话都能去试一下 vimo 其实 vimo 在三番跑得是非常好的
它以前有一个非常大的 operation cost 就是最开始的时候是每一辆车都有一个人在后台做监控的现在是一个人可以监控四辆车如果多模态能力比较强了之后 AI 是不是可以帮忙监控四百辆车或者四千辆车这个 operation cost 我觉得是能降得很低的这也有利于 vmall 的大规模普及自动驾驶落地和机器人落地哪个更难我觉得还是机器人会更难就是自动驾驶有可能比 AGA 来的要更早的
今天还不觉得机器人到了一个产业道爆发的时候因为还有很多 research 问题要解决你比如最重要的还是数据问题因为很多人都想做机器人的 foundation model 这个大脑但是没有大量的足够量的训练数据因为语言模型起来是过去几十年互联网积累了很多的文本数据对吧因为语言又是对现实世界的一个很好的抽象那你看现在很多的机器人公司也就不超过 100 台的
机器像阿罗哈那样去采数据对吧所以这个数据量级还是太小了就不像 Tesla 几百万辆车全球每天都采数据回传数据能运作训练机器人最核心的还是谁能解决数据问题我觉得最期待的还是
多模态能带来 Fundamental 的突破解决机器人的数据问题我觉得未来大模型能力很强它具备了多模态理解视觉的能力之后可以直接对物理世界做建模有可能圆模型和机器人模型可能就是一个模型如果 AI 的能力很强
可能也是降低对物理硬件的依赖度另外很多人也都在提人形我们现在也挺难判断要不要做成人形反正马斯克是这么做的也能最好的去适配人类的现有环境我觉得更好的一个定义应该是叫通用机器人而不完全只限于人形我觉得
我觉得机器人还有另外一个大的场景就通用机器人他不像增加时或者智能手机一样一开始都有一个机器刚需你每天能用的需求就是一般硬件的升级都是有一个刚需也是渐进式迭代其实你看工厂好像不需要这些通用人形机器人家里好像也不知道他干嘛你让他去开可乐开瓶子开门好像这个饭话
都没有目前机器人好像只想到了说军事这个人的生命珍贵那以后不要真人上战场了那让机器人部队去打仗找个沙漠对吧我觉得这个好像是一个然后另外我觉得还有一个就是中国的优势就是说能把成本降下来现在好像一台人行机器人还挺贵的可能都得十多万美金
然后如果未来你说家用什么的我觉得这个肯定要很低 10 多万美金离大规模商用我觉得还比较远我觉得能解决成本问题的可能只有 Tesla 或者中国的供应链杭州有个公司叫宇树科技以前把机器狗成本做到了极低做到极致
现在很多他的客户要人形我觉得他用同样的方法是不是也可以把人形成本降到几低如果是投资的话我觉得去看看上游的组件你比如说连锹手一周手上其实有几十个小型的电机其实
也挺多的但未来还要不要电子皮肤对吧 传感器机器人今天还不能像人一样实时地感知外部环境这是一个没有反馈的我觉得你像各种 sensor 我觉得也是一个比较重要的我觉得长期对通用机器人还是比较看好的甚至说如果有机会深入下场创业我觉得应该加入机器人团队的你是自己想加入啊
我觉得应该深入的投入精力在一个我觉得这是在大模型之后的能看到的最大的一个事同时有大模型公司和机器人公司你会去哪个
先去大模型再去机器人我觉得机器人还是需要更久一些今天加入机器人公司不知道加入哪个因为现有的好像都不像是那种能 skillable 一直走下去走很远的你说中国的还是美国的全球的 OK 我觉得会比较担心今天会不会像 16 年去做自动驾驶太早了我觉得还有一个就是说看谁能一下子融一到两个币
因为机器人今天还不是商业和工业落地问题我觉得还是 research 问题很多 research 问题还没解决比如说你训练的数据哪里来你的场景是什么 cost 能加下去我觉得 research 问题最重要的可能就是多么泰和大模型本身的突破可能对机器人提速更重要吧
話說為什麼我們作為探機智能一直在追求規矩智能上這麼熱衷我覺得這是一個有意思的問題就是說因為你最終期待的 AGI 的一個結果不管說是 agent 還是其他形態你能把整個能用的能源和 computer 資源能用的最有意義
去思考一些人类没有思考过的问题甚至说以前人类解决不了甚至没有想过的问题这是更有意义的我觉得带来新东西碳基肉身还是有很多局限的你比如说相比大模型来讲人的吞吐量是有限的记忆也是比较短的
也没办法长时间工作精力也有问题而且人读不了很多的数据你比如说 DNA RNA 这些数据人也是读不了的而且人不能规模化的复制对吧然后运算能力也不够强我觉得探机跟归机还是一个挺好的互补的其实你看人跑步跑再快也没有轮子快归机智能有可能是未来地缘博弈最大的一个
关注点吧我觉得未来十年主题可能就是贵姬的 AGI 和地缘博弈而且这两个还是交叉的你最近有没有看夏马上博客的采访
你对他有什么新的看法没有其实 Sam 是很有争议的其实你看在 OpenAI 成名之前他已经坚持做这个公司做了六七年其实很多人以前还是不相信 AGI 这些东西的我觉得这一点 Sam 是非常值得尊敬的其实你看相比之下马斯克中途是下车了的
现在回头过来可能是觉得 AGA 很好的对吧但我觉得是有很大的勇气去探索一些完全没有探索过的东西的你比如说更复杂的一个公司架构这也是带来更多风险的包括敢提出来典型硅谷 VC 是不愿意投时间和资源的这种巨烧钱的项目上
其实在这里面我觉得他也吃了很多亏对吧然后也有很强的争议感觉他不够真实但他好像一直在努力的维持一个比较有爱的形象我觉得另外他也提了比如说 AGI 叫 slotty curve 对吧我觉得也比较有意思就是说一是说明 skin rock 可能不像大家想象那么急速发展另外 openai 可能也需要不断的去发新产品去调整模型发布的节奏
来掌握节奏感我觉得 SAM 可能也是一个叫节奏大师战略能力也很强好像他对安全性问题也蛮重视的他那个播客里面我觉得有一个印象比较深的就是说 GP4 可能再过一两年就会是很小的模型以及可能感觉很笨说明他对后面模型能力进步还是比较乐观的但我对 SAM 一直有一个比较好奇的问题就是他怎么能有那么多钱
好像他投了很多公司但以前历史上好像他也没有什么大的退出难道是在 YC 赚的钱还是家里本身就有钱因为他投一个公司好像都几千万美金上亿美金这种投他为什么老是有个人身份投资那说明他比较有钱我一直没告诉我说他为什么能赚那么多钱对吧 YC 如果是薪水很高是不可能负担得起的对吧对啊除非说他在 YC 以前个人投了一些项目比如说那个 Reddit
但好像还没有退出吧我不知道 Airbnb 他投了没我说其他的比较有意思但我觉得 Sam 对 OpenAI 获取更多的资源资金募集能力我觉得他是非常强的当然也有人说他是星际 boy 什么的为啥就看他好像不是那么直接那可能确实是有些东西不能说比较 political 也有点吧怎么看 Mask 和 OpenAI 现在的官司 Mask 和 OpenAI 这点官司
有可能 XAI 短期打不过 OpenAI 因为另外就是 OpenAI 变成了硅谷最亮的仔散户的钱也都在 Tesla 流出然后不管流到英伟达或者哪里我觉得马斯克还是要维护他是硅谷最亮的仔硅谷的神这个形象 Tesla 才有高的 PE 估值我觉得作为马斯克他肯定也很不爽毕竟 OpenAI 这个 idea 还是他发起的
但今天和自己无关好像也没捞到什么好处不过 Open 后来变成一个商业化的组织确实是跟之前的非盈利的出行我觉得是有冲突的但我觉得另外一层面看纯靠一个非盈利的组织走向 AGI 又是比较难的我觉得 SAM 走到一个跟微软合作好像也没有毛病
只有大的战略方才能给更多的钱和基础建设支持 Sam 和老黄在 Greeb 的地位谁更高我觉得短期还是老黄地位高
我觉得英伟达是属于叫人类的基石公司 AGM 没有 SAM 可以没有老黄不行但我觉得长期来讲 OpenAI 的价值可能是更大的 SAM 也有可能成为所谓智能时代的教主但前提是芯片不能收钱一个英伟达未来的结构可能就比较清楚人类又多了两个收税的人类基石公司一个是芯片算力水一个是模型智能水