Shownotes Transcript
大家好,这里是 Alignment 由全球投资平台实相和开源研究平台海外独角兽出品的声音栏目 Alignment 是 AI 从实验室到能为人类所用的必备环节也代表了拉齐、拉平我们主张用开源的研究和讨论精神链接全球 AI 从业者行业瞬息万变我们在这里拉齐认知,抹平鸿沟本期内容是 Alignment 和张晓骏商业访谈录的串台节目
作为一期新年特别策划,石像创始人李广秘和商业作者张晓骏一起讨论了 2023 年的大模型军备竞赛,接下来的格局变化,以及在 2024 年大模型领域值得期待的重要事件。石像团队在过去一年中积极追踪着全球一线大模型公司,顶级 AI Research Lab 的动态。本期内容也是我们持续研究的浓缩总结。我们相信,希姆尔定律时代才刚刚开始,
随着模型智能能力的进化和算力成本的持续优化在 2024 年还会有更多惊喜涌现
广秘因为你今年追踪 AI 非常的多一直在给行业输送 AI 一手的洞见那么先聊聊你今年的状态你看海外独角社的公众号和我的朋友圈过去一年的时间几乎没有发过 AI 之外的去年这个时候我们有一个还挺关键的判断这一轮的核心赛道只有一个就是大模型本身对投资来讲投
大模型可能就等于投比如说 10 年前投电商一样对吧我们当时就想说哎得把全球第一梯队的模型公司都投了实际上整个团队其实相当长一段时间是只 focus 到三家公司就是 OpenAI Anthropik 还有 Google 这三个公司我感觉是占了我们团队时间上 90%了另外一方面是我其他的公司带来的噪音是比较多的我觉得是只有这几个公司有核心的 secret 这是我一个
另外一个就是我们投资团队有 10 个人你就算每人每天 3~5 个小时人效我觉得算下来也有接近 1 万小时定律了我觉得这是一个蛮有趣的另外就是我觉得核心的 secret 就在硅谷所以我肉身在硅谷花了
一大半的时间就是这样真正的 focus 聚焦我觉得带来的反馈也是很好的从结果上来说就是我们新的一期旗舰基金竟然还超目了很多很多 RP 主动找过来第二就是今年我们只投了两家公司在年初的时候这两家现在都是全球 traderboard 的流量的前五名第三就是我觉得团队和我自己也进入到了一个叫加速成长的过程对
今年我觉得大家都是被 AI 点燃了可能未来只有一个事儿所以其他的事儿是可以做减法了你为什么今年发那么多的朋友圈关于 AI 你有统计过你大概每天发几条吗平均三条这是我的笔记本然后也有更多跟朋友交互的反馈你刚刚提到 OpenAIDropik 和 Google 这三家公司的 secret 能分享一下你发现的一些 secret
我觉得如果只说一个 secret 就是短期的就是数据预训链的数据配比 tokenizer 然后怎么实现
如果只留一个能力就是 resonance 这一个能力推理能力来源从去年底 XGB 诞生这个事情其实算是大模型军备竞赛这一枪打响了之后全球人工智能经历了狂奔的一年因为你跟踪的很紧跟大家首先分享一下在你的脑海里这一年有哪些重要的关键的阶段有哪些重要的分水岭挺好的一个问题闭上眼睛一想我觉得最重要的几个我觉得第一个还是从 2C 的流量端说你看 XGB 发布以后
我觉得 CHAT 就等于 CHATGPT 这个新制了我觉得它站的还挺稳的而且它那么快的突破百万用户一亿用户对吧现在两个多亿的稳定的 MAU 十多亿美元的样我觉得这是很了不起的一个吧第二个就是模型能力层面今年三月份发布 GPT-4 我觉得是一个关键的分析点 GPT-4 我觉得就是代表一个 SOTA 最佳模型对吧谁再能复刻 GPT-4 我觉得就是关键基点
那你看 Anthropic 今年 7 月份发布了 Cloud2 内部是几乎复刻了 GPT-4 然后 Google 是 12 月份发布了 Gemini 1.0 Pro 版本和手机 Nano 版本对吧但我觉得 Pro 版本基本上就等于 GPT 3.5 然后对标 GPT-4 的 Archul 才下个月才能发布就可以说我觉得也可以说 Google 追上了 GPT-4
但是你简单理解来看 OpenAI 是一年前做出的 GPSAnthropic 是半年前做出来的 GPSGoogle 是下个月才能 deliverGPS 全球其他团队可能还需要 6 到 12 个月才能做出来 GPS 这是一个时间线上的另外一个可能就是开源比较重要就是 Lama 和 Mystral 发了几个模型我觉得开源最佳的模型就是出自它两个因为 Mystral 那个团队是 Lama1 的核心
贡献者我其实是一直不太看好开源模型的但是开源模型你发现后面进步还挺快的我觉得后面也是值得期待的第 4 个可能就是多摸态你从体感上来看就看 Mid Journey 它从 V1 到 V6 它每一个版本的图像生成效果都是快速提升的现在效果是非常好的对吧然后你再看 Runway 和 P 卡
他们这一波的视频生成效果也突然有了一个很大的提升我觉得这是一个很好的开端你可以预期明年视频生成的效果就会像今年图像生成的效果一样快速的提升明年底我们再回头看
视频生成的效果我觉得会有一个大幅的提升所以明年视频生成的 momentum 也挺好的另外你看 Google Gemini 发的它是一个多模态的模型其实跟其他人都不一样的它是几个模态的数据从头训练的其实 GP4V 都不算从头训练的 2024 年的叙事肯定是卷多模态的我觉得 Google Gemini 就是打了一个新的开端对吧还有一个在硅谷很强烈的感受就是
硅谷大模型公司的融资基本上就是巨头定价来主导了比如说 AWS 和 Google 又给了安斯洛特 60 亿 Mask 的 XAI 可能也要融几十亿其实钱是有限的卡是有限的在第二第三梯队的模型公司就很难了我觉得这是一个还有一个点就是其实你看这一年下来
对大模型的质疑声音我觉得依然还很多但是你看硅谷最牛的公司和最聪明的人大家都 all in 去了我觉得作为创业者和投资人就是应该积极拥抱新时代就是怎么用好新的计算机和 power 这是我自己想的关于我们刚才说了几家关键的公司和关键的时间像 Athropic 能不能给大家展开先介绍一下 Athropic 第一个点它有点像一个老大哥其实它核心的
7~30 个人是做出了 GPT-2 做出了 GPT-3 而且是核心力的我觉得 open-ended 可能很多人还是比较尊重他们的第二个点他们的 research 能力我觉得是全球最强的思考的问题比较 fundamental 比较本质 Darrell 也是极少数的信仰 skinlaw 算是他发现加上他发明了 ROHF
我觉得这是比较重要的他们其实更早的时候做出了 Cloud 就是类似 TryGP 的产品但是没有发布其实一度他们的模型是比 OpenAI 要好的去年这个时候 TryGP 发布了有了一个巨强的新制大家可能只知道 OpenAI 但是没有太了解 Anthropic 其实这两个团队的 overlap 和
技术路径是很接近的他们是从 OpenID 出去做的是吧对他们是有啥分歧为什么要另起主则这里面有很多故事当然你可以说几个月之前 OpenID 不也有一次分歧对吧但这个我们无从考证表面上我觉得可能是 Safety 问题但我觉得又不只是 Safety 问题
可能就是 Dario 跟 Sam 会有一些理念上的不同反正也是有理念的不同所以他们又做了一家公司对 AutoPig 这个公司是什么时候成立的
现在应该成立了两年半不到三年从估值的成长速度上也是非常快的大概 OpenAI 我看它是现在以 1000 亿美元在融资对 Anthropic 是 150 亿美元左右实际应该是 200 到 250 亿美元所以这个是大模型相当于是全球第二的一家公司我觉得
前两名就是他们 Google 可能是排第三的 Google 是公认的吗你有一个标准可以看你就看用户和开发者模型好用不好用很多的测评可能不一定反映水平但是用户开发者是用脚投票的用户选谁和开发者选谁现在用户和开发者首选还是 GPT
Backup 就是 Cloud 这是一个明显的你看现在用 Bud 和 GoogleGoogle 还没有 API 我觉得现在还不明显你刚才提到一个点就是硅谷大模型的融资现在已经是巨头定价和主导了这个是为什么你花的钱多你看硅谷 VC 几乎都错过了大模型的投资也同样都错过了 SpaceX 和 Tesla 的投资这是一个
非常重的投入没有商业模式风险很大其实这不符合硅谷 VC 典型投资的大模型的投入可能跟 VC 这个产品是不 match 的大模型应该是另外一个金融产品来支持的我觉得买单方就是巨头大模型今天也没有商业模式对巨头买了然后或者巨头投入然后这是一个什么叙事
大家抢的都是入口你举一个最简单的例子就是 ChatterGPT 和 PropertyCity 它代表 Answer 问答引擎 Google 是 Search 我经常比喻说问答引擎就像是直接点外卖所有都做好了然后 Google Search 就是你去菜市场还要买菜你搜出来是一堆 Links 你自己还要组合那这两个用户体验是截然不同的当你今天可能不太相信 Answer 的结果
对吧但我觉得最终效果越来越好了大家还是会相信的你比如说 chatGPT 就已经把 Google 的上限开不住了就是他问的问题的深度和未来刺激的互联网渗透率的深度会有一个大幅的提升我觉得 Answer 这种形式有可能会把互联网的渗透率再大幅的拉伸很多
因为很多的问题以前大的肠胃问题是没有被解决的现在就可以解决了就像每个人有手机一样每个人都可以拍电影拍短视频
我觉得就是一个技术刺激新的消费需求董铁爱说卷了这一年以后全球大模型产业卷出了什么如果说具体的结果就是说你看 OPEN 一年做到十多亿美元的 AR 明年可能是五六十亿美元的 AR 它可能是历史上增长最快的公司 ARR 式年化年化经常性收入对但你看整个市场上其他的大模型 native 的产品所有的 AR 我们自己加起来是不到十亿美金的就不如 OPEN 一家的
所以你看流量上 Chadget 也占了整个 Chat 流量的 70%-80%这集中度很高的另外一个层面你看 DAU 角度真的稳定在 200 万以上 DAU 的大部分 native 的产品我只想到 Chadget 和 character 这两个我暂时没有想到第三个
另外企业级探索大模型的 use case 现在成功的还不多我觉得只有微软和 Adobe 现在比较激进对吧但另外一个层面我觉得大模型今天还在早期大家也不用太着急我自己经常比喻大模型很像芯片你要等芯片的能力和成本再迭代个两三代上面的消费电子才会慢慢的爆发我觉得明年这个时候我们就会觉得 GT4 特别傻其实做不了特别的事但今年已经代表
未来黄金十年的开端了 OpenAI XGBT 这样的一技绝成的表现能够说明什么呢用户对智能的渴望是很强的今天你说这个是入口那个是入口如果真的有一个极其聪明到你最强的同事的助理我觉得对现有的入口是没有依赖的我觉得会形成新的入口
你比如说拆 GPT 哪天智能程度可靠程度反应速度可以直接接入到手机 Siri 的我觉得全球的流量入口又发生变化了
我觉得用户对智能的渴望还是很强的同时它也是集中化的如果我们把复现 GPT3.5 或者复现 GPT4 做一个关键的门槛就相当于是入决了半决赛和决赛现在就是入围了半决赛和决赛的人有谁首先复刻 GPT4 比大家预期的是要难很多的
你看 Google 整个公司举全公司之力搞了这一年也才明显接近我觉得今年首轮跑下来就决出前三名那个 OpenAI, Anthropic, Google Gemini 这是全球范围仅有这三家公司做出了 GT4 水平的模型最期待的还是未来六个月谁能再做出 GT4 的模型我是觉得可能有三家公司有这个潜力第一个可能是 Mask 的 XAI
第二个可能是 Transformer 最核心的一个贡献者 Nom 做的 character 然后另外还有 Badans 我觉得很有机会我觉得大模型的能力可能是随着算力分布而收敛的其实你看
大模型对信息的加工能力是比搜索和推荐要更强的这是在搜索和推荐之后信息分发可能最重要的一个核心赛道 Google 和头条不能错过所以我觉得华人 researcher 是可以好好考虑自己的另外一个就是一线模型公司今天
核心的核心我觉得只有一个就是提升模型的 capability 还不是做产品和应用的时候然后 capability 我觉得只有一个背景性就是 resilient 推理能力其次可能是重要的比如成本可靠性多么太我觉得其他的可能都是小事接下来还有非常多的 research 问题是要解决的你比如说 resilient 推理能力可能是长期最重要但也是最难的
然后明年大家都会捡多么泰对吧 coding 代码能力可能是整个循环里面非常重要的一个轮子然后怎么解数学题和其他的科学问题比如说未来用 GPT 来发现新的定律包括怎么用合成数据可靠性怎么解决包括还有很多现实的问题你比如说现在 post training 怎么做怎么做 RO 怎么做模型的评估其实还有很多难题
是没有标准答案的这些能复刻 GPT 的选手他们是怎么做到的你觉得这种关键变量是什么我觉得一方面就是大模型的人才壁垒其实是非常高的大模型这个事就是一群天才的科学家在用 GPUData 和 Power 去帮人类做科学发现的事我觉得它不是一个做创造的事前段时间贝索斯他也说了类似的观点其实天才科学家是向西的我觉得
全球范围真的对大模型能有实际大贡献的天才 research 可能就两三百个人其中一百多个人在 openshark 可能二三十个人在 google
我觉得 Meta,AWS,NVIDIA 可能是没有的而且天才科学家的聚集效应是很强的这种人和这种文化其实是非常重要的所以我觉得像其他的科技巨头做这事也比较难所以我其实没那么看好其他的巨头自身能做好大模型
而且即便在整个硅谷是真的了解这一波核心变化的人也非常少这个科学家你们是怎么去量化他们的呢就是你们是怎么调研然后得出了这个结论就是在哪里集中的人最多哪里集中的人相对少一些我觉得来自于核心的 AI researcher 的崇拜你比如说大家都很崇拜 NormNorm 是 character 的创始人他应该是对 transformer 贡献最大的
他最早提出来 skilling law 可以无限 skill 他也提出来 MOE 还有很多创造性的发现其实你看对今天对 transformer 真的有贡献的这些人我觉得你加起来可能就是两三百万人嗯
对很多传统的 AI researcher 其实可能是不懂大模型的你比如说 Meta 的颜乐坤我觉得他跟大模型可能无关的 CV 这帮人我觉得关系可能也没那么大
OK 但是也有人会相信说这个技术刚开始是高级人才做的事情然后它慢慢的会泛化然后慢慢的会成本门槛都会降低我觉得还有非常多没有发现的东西我觉得这是一个继续用更多的 GPU data 和 power 来发现很多的你比如说 Skype
Scaling law 本身是不是能继续 work 能走向多远我觉得这就是一个很重要的问题而且有可能这是大模型走下去最关键的一个问题如果不能继续 skill up 那可能就停在这一代下一代那这也是一个很大的问题这个问题我觉得所有人都无法回答那就是一个继续做实验的问题还有是个科研问题现在我觉得是个科研问题科研问题还没有解决完
还不能成为一个理论问题可以总结说有了人才加 GPU data 和 power 就可以做出 GPT-4 吗我觉得有那些核心人才是有机会复刻的但是一个良好的文化我觉得是非常重要的你可以不知疲倦地持续做实验做探索我觉得 OpenAI 的 Research Lab 的文化是很强的
这个数据有什么用那个架构有什么用最后带来什么效果而不是一个大家都去追这批死然后
我觉得他们有一个不知疲倦的探索实验的这种精神大量的实验大量的试错 researcher 的卡是无限的大家都低估了前期做实验用的卡的数量可能你比如说你就数一个人均 researcher 用卡量那可能是一个非常高的数字他没有那么强的短期内的 ROI 转化的这个需求对刚才提到达到 GT4 的关键变量我觉得第二个层面其实是
GPT-4 的短期壁里是 data 尤其是 pre-training 和 post-training 阶段的数据我觉得全球范围真的知道 GPT-4 data secret 也只有两三百个人而且几乎都在前参加公司我觉得其他公司想搞清楚这个 data secret 我觉得至少得有几百次几千次充足的实验我觉得是有很多 research 问题要做的你比如说
Poetry Data 配比怎么弄代码数据用多少和怎么用怎么做 tokenizer 怎么做 RO 其实我觉得是少不了小几万张卡
来充足的做实验和发现的可能消极广场卡就是一个必要条件但你看只追 GPT-4 可能是没有太大意义的 2024 年又开始了新一轮的竞赛而且 2024 年很关键我觉得是决定长期格局最关键的一年然后格局形成后其实是很难改变的明年出 Anthropic Clouds 3
和 GT4.5 要发了 Google Gemini 估计明年六七月份发上半年就会把领先的模型的能力再提升一个大的台阶而且明年肯定是多模态的叙事的如果那个时候你再追上 GT4 肯定是不是第一梯队了所以我觉得对追随者挑战还挺大的所以可能今天就要直接做下一代多模态模型这是一个点另外还有一个训练成本的问题就是如果说
Cloud3 和 GT4.5 训练成本可能 2~3 亿美元再往后的 25 26 年再下一代的模型训练成本至少可能是 10 亿美元甚至说 3 50 亿美元我觉得这是有这样一个预期的另外一个点我觉得这个事的一个核心变量可能还是
取决于大家是不是信仰 scaling law 你信不信以及能不能做到能不能继续 scaling 下去可能是长期的唯一关键面量目前我觉得极少数的科学家是很信的比如说刚才提到 Character NaumAnthropic 的 Darrel 还有 OpenAid 的 Illya 他们三个对 scaling law 的贡献也是最大的同时也是信仰最强的所以我自己经常感受
这很像一个极少数科学家推动的 AI 的登月时刻如果说这个事很像登月其实是只有极少数的几家公司能参与登月竞赛的
如果真的要保持全球第一梯队是必要条件可能就是百亿美金在未来三到四年的投入百亿美元的训练成本可能是少不了的那如果就是这第一梯队他们达到这个 GPT4 的首先这个决赛的俱乐部那然后呢他们能做出什么呢就是为什么现在我们要最快的达到这个俱乐部再做下一代做了下一代然后呢我觉得可能是会有一个轮子的再卷个两代
可能第四名第五名和之后的人几乎都会放弃了可能资源就会集中在前三家人才是有限的卡是有限的我觉得再过两年能源是有限的资源会非常的集中在头部的两三家那就大家努力成为两三家模型公司 OK 你说的这个是美国的还是全球的全球的我觉得更偏硅谷吧 OK 那就是硅谷的硅谷最后两三家
但硅谷可能辐射不了中国市场但有可能会辐射欧洲市场南美市场 东南亚市场 OK 那中国的趋势呢中国可能会比较分散因为技术的辨识度很低我们不知道谁是领军人才所以资源 资金 卡都相对比较分散
但这不是一个分散能做出来的事就像是我也没有那么看好开源你就把这个事比作是做芯片或者说去登月做 SpaceX 重包可能是意义不大的所以是要集中力量办大事
我觉得这是适合一个 top-down 来做的事但是现在国内的资源又比较分散不知道谁是绝对的领军人物所以你看每天的资源都是 3~5 亿美金然后接下来谁能拿到 3~50 亿美金而且现在还有一个硬伤就是 GPU 这个不足是肯定很难像 OpenAI 一样去追求登月的那就只能看看有没有其他的路径
OpenAI 没做好的或者做不好的那中国公司有没有玩到长城的机会你说到这个登院就是 AGI 对吧对 AGI 我自己感觉硅谷的叙事和国内的叙事还是很不一样特别是到了下半年硅谷的叙事可能还是在讲 AGI 但是国内已经在讲我们到底怎么商业化落地我们到底能不能落地我们如果不落地的话我们怎么能融到下一笔钱这是为什么我觉得硅谷公司的技术辨识度很高谁领先而且
大家因为看见很多实验结果所以相信所以大厂更愿意投更多的钱我觉得这些模型公司你比如说 OpenAI 和 Anthropic 每家再融个 100 亿美元我觉得完全是很有可能的我觉得 OpenAI 未来几年 Train Model 花个两三百亿美元应该没问题 Anthropic 再花个一两百亿美元也没问题大家还是巨头愿意相信这个事而且有足够的资源去
做这个 BAT 这个 BAT 风险我觉得也是很大的有可能哪天堵的是什么就是刚才说的堵的路口我觉得它可能是很多科技公司的主航道比如说 Google 的 Search 如果 Apple 模型能力不强那 Siri 被别人做走了对吧
比如说 Meta 它是一个真人的社交网络如果未来我们跟虚拟人 agent 社交新的社交网络是不是不是长这样的可能长其他样的所有公司好像都是对这个还很相关的硅谷的这种 AI 巨头主导的这种阵营他们分成哪几个派别最领先的就是微软和 OpenAI 对 这是其次就是亚马逊和 Google 支持了 AzurePick 这是第二个
第三个我觉得又是 Google 它自成一排为什么亚马逊和 Google 要一起支持 Athropic 为什么不是一个巨头支持一个因为敌人的对手就是朋友所以它大概也就分这两个阵营然后 Google 自己再做了一套还有一个最关键的就是 Apple 跟 Tesla 其实你看我觉得大模型最相关的三个大生意第一波是芯片英伟达对吧第二波是公有云
微软的云和亚马逊的云这两个是最大的生意可能未来模型都是要跑在云上云还是一个比芯片和模型要大的所以云厂商拿未来每年营收的 3~5 个点去投模型公司我觉得完全 make sense 第三个大生意是终端一个是手机的端还有一个车的端最后 Apple 和 Tesla 我觉得会是一个更关键的阵营明年 Apple 到底支持谁 Tesla
有 XAI 这又是一个提单 XAI 现在是晚了 6 到 12 个月的那未来能不能 catch up 这是很关键的你判断是可以是吗你对他们的判断我觉得 XAI 的人它质量很高速度也很快概率是大于 50%的但是手机这个端又是一个非常重要的端
如果手机的内存未来两年能提升 4-5 倍那端侧其实是能承载非常多的那 AI 公司的成本结构也会发生很大变化就可以在端侧推理而不是云侧推理端还是离用户更近我觉得手机肯定还是会继续变强非常多 Apple 预计会怎么做呢它会自己做还是支持一家公司做
Apple 不是从 Google 挖了很多人吗我的感觉好像他们追到 GDP4 还是很有压力的如果做不出来那就只能投一家和收购一家谁呢 可选的又谁啊 Anthropic 相当于他们都 GoogleAWS 和 Apple 都可能会集中在第二阵营因为 OpenAI 被微软独家锁定了不能跟其他人合作对所以我觉得这是最大的问题这也是最大的 bug
反而如果你更开放一些当然可以开源我觉得最强的模型不会开源的因为这里有很多的 safety 问题它不像一个软件一样能开源大家能改模型是不可编码的不可解释的模型为什么有这个智能大家今天还是不知道的就像人脑一样为什么马斯克去做了 XAI 而没有继续在 OpenAI 里面不是思维了吧其实你看马斯克最早投过 DeepMind
后来被 Google 给截胡了然后又 Founding 成立了 OpenAI 又被微软给截胡了我觉得马斯克肯定是心存巨大的怨念的他对 AI 肯定也是有非常不一样的理解的自动驾驶可能是整个 Find AI 最大的最清晰的一个路地上面对吧我觉得他对 AI 的思考和理解肯定是很重要的我猜他肯定也意识到这波
大模型肯定是非常重要的一条技术路线对他来讲他不能错过为什么没有提 Meta 首先 Meta 推出了 Lama 对整个开源世界的贡献我觉得是非常大的我觉得开源有可能未来就等于 MetaLama 的能力我觉得今天还是 below GPT3.5 的而且 Lama 团队里面我不觉得有所谓的天才 research 人才的 quality
比 OPEN 和 iSource 可能还是要落后一些至于最强的模型要不要开源出来我觉得这是一个很大的快逝硅谷的这一波大模型的格局和阵营你觉得会在什么时候稳定下来我觉得 2024 年跑完基本上会决定大概的格局窗口可能就是未来 12 个月如果未来 12 个月追不上去
后面再翻转其实是很难的就是因为模型竞争很残酷我觉得模型就很像造芯片或者 SpaceX 最理想化的格局是很可能只剩一家就是最领先的模型又最便宜没有理由用第二家但是就是因为阵营的抗衡都在抗衡微软跟 OpenAI 所以我觉得有不同的阵营对吧 AWS Google 阵营
Apple 跟 Tesla 中端又代表一个所以这样推演下来可能大概就是两到三家再加上一家 Meta 不就多了吗我觉得 Meta 不一定是大模型公司它是一个用 AI 做好自身业务的公司甚至有可能 Google 也是有可能 Google 的大模型如果输了但如果它用好 AI 技术做好自己产品有可能我不知道能不能稳定住有可能稳定不住我觉得技术变革还是很快的那中国呢
中国会跟硅谷有什么不一样的特点就是刚才聊到中国会更分散因为技术变速度太低因为你不知道谁好假如我今天有 10 亿美金我投给谁资金和人才就会分散到多家格局就比较分散所以最后最简单的你就数谁的卡多那有可能是自己的卡最多中国有形成这种巨头主导定价的状况吗到了这一步吗好像没有为什么呢
巨头看起来都很积极但是为什么没有硅谷巨头那么激进巨头的卡也不多大家也买不到更多卡有限的卡巨头都还想自己试一试能不能存出来巨头有可能不觉得自己会比创业公司差太多我觉得微软和亚马逊
已经清楚的意识到自己可能不如 OpenAI 和 Anthropic 所以他放弃了自研这条路线那中国的巨头因为技术辨识度比较差那有可能自己也想试也想投但投呢又没有微软那个决心和魄力也没有 OpenAI 那样团队对大家投个三五千万美金我期待说未来什么巨头能投个五到十亿美金另外还有一个卡的问题要解决
我觉得中国这一波投资也很有意思它跟之前移动互联网的那个完全不一样因为以前移动互联网可能是去投 A 投资 B 公司去投 C 投资 D 公司就是非常的敬畏分明但是这一次可能大家都一起进一家公司而且可能一起进多家公司每个人投个三五千万美金为什么会是这样的一个现象呢如果是真如何的话大家不是应该都种族一家公司
技术变速度又很低还是这个问题不知道也好你说这几家未来合并有没有价值不知道最后人才的服用度和卡的利用效率怎么提上去复刻 GPT-4 是一条正确的路吗因为如果达到了 GPT-4 的水平但依然没有与之能相匹配的商业模式那怎么办如果你做出来 GPT-4 水平有可能在下一代的模型有可能也做不出来
我觉得还是有相关性的 GP4 倒不是一个明确非得要追求的目标而是说它可能就是一个 mouse stone 比如说这种资源的必要条件人才的必要条件 research culture 的这种必要条件我觉得它只是一个科学发现过程中的一个产物它不是一个充分条件
如果你做不到这个水平那后面的模型再下一代再下一代可能就更难了 GBT4 早一点到晚一点到又有什么关系呢核心是大部分人都能够达到这是不是也意味着其实达到 GBT4 的门槛没有想象中那么高最终模型公司形成的壁垒是什么呢
首先我觉得不太同意 GP4 门槛不太高的说法我觉得起码未来 6~12 个月复刻 GP4 门槛还是很高的从 GP3 到 GP3.5 很多公司是有机会到达的但是从 GP3.5 走到 GP4 我觉得难度是会增加 5~10 倍的只有极少数公司能到另外就是关于纽约的时间
早一点晚一点数据还是很大的如果你更早的到了 GPT-4 首先 GPT-4 生成的很多数据质量就很高是比公开互联网上数据质量要高的这个生成的数据
对训练下一代模型是很有帮助的这个是有飞轮的更早达到 GT4 对吸引人才和资金进来也是很有帮助的我觉得大家只会拜访前参加公司后面的 456234 梯队意义就不大了融资窗口就关掉了当你在 12 个月以后再到 GT4 那 OPEN 已经经历了
比如说多摩泰的 Stan5 能力更强的 GPT-5GPT-5 在 2024 年是有机会看到的那个时候你就会发现 GPT-4 可能做不了他的东西可能就是你的一个实习生 GPT-5 可能是你身边最强的那个同事那个时候可能就不用 GPT-4 了所以你就看模型训练是一个很残酷的事它是一个价值毁灭的事因为你训练出来了更好的模型前面的一代模型可能就
没有用处了对吧而且如果你把成本降下来你出来 4.55 以后 4 和 3.5 就不要了是一个很残酷的事然后你说模型公司的壁垒我觉得是很像台积电或者 SpaceX 或者
宇宙飞船航空航天首先它肯定是有很强的鲜花效应和规模效应的但目前是没有看到像搜索和推荐一样很强的大家互联网上喜欢的网络效应数据飞轮这些东西我就是看不到的但未来靠什么维持长期的壁垒我觉得今天还不知道能不能像互联网范式一样
有网络相应有数据飞轮但我觉得今天 Chai GT 可能就是一个消费品品牌心智占主了数据飞轮我觉得还是不强的刚才聊到我觉得还有一个现实的壁垒就是全球第一梯队的模型我没有 100 亿美金的储备而且有机会转化成 GPU 是没有办法待在全球第一梯队的这是一个硬标准另外你看 OpenAI 它的壁垒
你从心智上 chat 就等于 chatGPTopenAI 等于 AGI 那用户和开发者目前首选是 GPT 还是有很强的心智和入口效应的但是 OpenAI 也是有缺点的它今天依然还没有数据飞轮对吧 OpenAI 可能也不一定是一个以用户和客户为导向的公司它是一个 AGI 为导向的公司所以有可能其他公司也是有机会的
你觉得往未来看的话发展应该关注的有哪些核心的要素我觉得大模型往后走我觉得大家就关注两条主线这也是我们自己下总结的就是所谓的新时代摩尔定律第一条主线就是智能的 capability 那这里面就是智能的水平 resonance 推理能力那未来
参数量数据 GPU 我觉得能持续 Skill 很多年每一到两年模型水平就能提升一到两代每提升一部分可能就会解锁一些新的应用回过头来你再看 GD4 今天可能做的事情还是有限的还在早期一段而且你可能也没那么放心就像是
如果 GPT 能接到手机 Siri 我觉得那个时候是一个巨大的转折点我觉得你就关注未来模型能力提升的过程当中你可以画一条线每提升到多少分可能解锁多少的应用我觉得是有可能的然后另外一条非常核心被大家忽视的就是模型的成本我觉得会是模型公司非常重要的一个隐形见证力其实模型训练的成本在过去 18 个月已经降了 4~5 倍
然后模型推的成本在过去 18 个月应该降了得有 10 倍而且这个成本的优化我觉得再优化个两三轮应该问题不大大模型推的成本除以 100 我觉得是非常可预期的这两条主线就会决定 AI Native 应用大爆发的幅度一个是能力往上走每到一个点上可能某些应用出来了这就像手机有了 sensor
网络带宽增加了移动支付出来短时间出来了我觉得这是一个技术能力本身的迭代过程中会出现很多第二个就是成本
所以我就觉得 ANATV 应用今天可能还没到大爆发的时候如果说再卷个两代也许可以吧成本降低的核心是什么优化能力优化能力的核心是什么对 GPU 的利用率对架构的优化哪些是可以不用调动的包括对精度的调节这是工程问题大部分是工程问题也有一些 research 问题你比如说
小数点后 32 位还是 16 位还是 4 位但是你不能影响模型的 performance 这个条其实也不太容易但是工程能力强的团队我觉得应该还可以吧
opi 的优化能力是极强的现在 GPD4 的训练成本是多少下一代模型的训练成本会是多少因为你提到说 GPU 成本到时候会大幅下降为什么训练成本会大幅提高呢就是训练成本其实是分两个部分我觉得这里可以有一个科普
一部分是实验成本一部分是最终大规模训练的那个训练成本你可以理解一年当中其实是有 9 个月你要做实验的实验其实就是小尺寸的模型做训练然后做足了训练之后有两到三个月做一次大的训练这一次就像一次大的火箭的发射所以你简单按时间来分就是四分之三的
成本用在做实验 1/4 用在大的训练就是发射你看 GD4 当年我记得有一些 rumor 公开的就是他用了 2.2 万张 A100 训练了 100 天而且这个是大概一年半以前而且纯的大的训练成本是差不多 8000 万美金但
模型最大的成本还不是这一个而是前期的实验你要有很多卡做成百三千个实验各种数据各种架构你要探索对吧足够的实验量和试错率而且大模型的训练失败率是很高的如果你训练失败了还得再从头再来还有一个值得科普的就是模型参数量在 700 亿的时候
是一个分界点 700 亿以下能容忍非常多的错误它不会纯崩然后 700 亿参数以上每往上扩大其实遇到的训练的难度是指数级提升的模型越大越容易出错其实训练大参数的模型失败率是非常高的还有一个点其实是容易被大家忽视的其实刚才提到 OpenAI 的优化能力成本优化能力是很强的比如说他们训练完 GPT-4 以后
因为具备了这个训练能力了可以再重新训练一个 GPT3.5 它可以把 3.5 的 Inference Cost 降得非常低对吧我觉得主要是成本考虑吧你看开拍者大会它推出了 GPT4 Turbo 那 Turbo 应该也是从头训练的其实能力比 GPT4 要强一些
但他的训练成本我估计已经降了四五倍推理成本也降了将近 10 倍当然定价可能没有成本体现出来另外你提到比如说下一代模型为什么要那么多的训练资源你比如说下一代就是多模态模型对吧各种模态的数据要从头 pulltrain 进去而不是用现在的 Flamengo 挂起来你看
视频数据的 purchase 其实比文本的 token 整个更复杂要高出一个量级的 GPU 的资源的如果说你参数量又扩大一倍又是一个多模态的模型它的需要的 GPU 资源可能是需要之前的 10~20 倍以上的而且还包含了优化能力因为你就算一个简单的账
假如 GT4 当时是 25,000 张卡 100 天 Turbo 可能比如说 7,8 千张卡 6,70 天其实有个 5 倍提升同样给你 25,000 张卡其实你有已经有了 4 倍的提升你再加 4 倍的卡这是 16 倍的提升我觉得可能下一代模型实际算力可能是当年 GT416~32 倍的提升
对你如果这样算下去到 2025 年训练一个大的模型估计可能花费要 10~30 亿美元之间甚至不止的因为今天大家训练都是用 H100 了 H100 实际跑出来的效果应该是 A100 的 1.5~2 倍之间可能还没有到宣传的 3~6 倍对然后后面还有 B100 还可能有新的卡
有没有统计过全球今年总进向大模型领域下注了多少他们花了这么多钱博的到底是什么呢我们就算一个比如说最头目的比如说 OpenAI 今年买卡我们就瞎猜可能比如说 30 亿美金还不算人才和股票激励对吧那全球范围至少乘 5 吧那全球就是 150 亿美金我觉得未来 OpenAI 训练模型可能未来还需要至少得两三百亿美金 Google 也不能低于这个数吧
然后 Anthropic 一两百亿美金所以我觉得未来几年三到五年至少要花 1000 亿美金 1000 亿美金赌下去到底赌的是什么刚才聊到大模型今天还是一个实验科学阶段就像我们对人脑的智能今天还不理解其实大模型为什么涌现出智能我觉得今天还是不理解的我觉得今天可能就是一个探索发现的时刻而且现在提升模型智能水平
只有一个路径就是 Skinning Law 可能未来每一代模型至少比如说扩大一倍的参数一倍的数据 N 倍的 GPU 目前还没有看到其他路径而且 Skinning Law 本身其实今天还没有一个理论支撑对吧就是一个试验和试错的总结的经验你也很难判断 GPT 4.5 和 GPT 5 能力到底怎么样我觉得是没有人能判断的
包括 skinlaw 是不是哪天会停下来我觉得今天也无法下判断所以我觉得大模型今天是人类一个千亿美金的 batt 那最后赌的是什么我觉得有一个预期你比如说未来 15 年这一波 AI 能不能让全球的 GDP 翻倍我觉得这是一个很好的预期还有一个你比如说如果硅谷提前实现了 AGI
那对全球的地缘政治我觉得也会有很大的影响硅谷会探讨像国内公司这样的生存问题吗就国内公司他们有的说就是虽然大家现在都融了很多钱但是也不知道未来的商业模式是什么怎么落地然后应用是什么他们可能也会比较焦虑这波模型公司的出路吧就是硅谷公司会有这样的焦虑吗我觉得硅谷的模型公司今天更像一个 research lab
除了 Chad GPT 意外的爆红以外我觉得模型公司商业模式还是不清楚的而且硅谷 VC 也几乎都错过了大模型的投资他们悔恨错过了什么心态呢肯定可以说有借口今天说大模型还没有商业模式估值 hype 很高对有泡沫你看他们也依然错过了 Tesla SpaceX
我觉得就是 VC 这个产品可能不一定 match 这种高风险高投入看不清商业模式的公司投入这是两个产品不 match 的问题我觉得即便硅谷的大模型公司独立 IPO 可能也很难我觉得 80% 90%大概率还是被收购的所以我觉得大模型公司还是要抱大腿的对因为没有商业模式你今天看不到除非未来有全新的商业模式
比如说现在也不是按 SYS base 的未来比如说有按 Value base 的定价模式就像电商 Taker 一样我觉得储备有巨大的变化还有一个点就是其他公司像 OpenAI 一样去追求登月我觉得是很难的因为 GPU 资源不够钱不够人才也不够所以只能走差距下路线你比如说中国的 minimax 可能是比较有特点的
他们应用端做的还蛮好我觉得是有一定取胜机会就刚才提到那个 OPEN 本身我觉得也是有缺点的它有可能未来也是有不稳定性你比如说拆 GPT 今天肯定是没有搜索和推荐这两个产品
那么好有数据推荐而且它是实时反馈到后端模型的实时提倡的但因为模型今天是预训练的是没法做到实时反馈的而且 chat 这些数据我觉得比公开互联网和 AI 生成的数据质量很低的所以可能大概率也用不到训练 OpenAI 它是一个追求 AGI 为导向的但并不是以服务用户为导向的如果有公司
更 focus 在满足用户需求上有可能我觉得也是能取得胜利的果实的吧我觉得国内确实在基础 fundamental 的 research 投入上就是比较小但我们过去培养了一大批的产品人才我觉得这个就是有利有弊那有可能未来就是比如说在产品侧的突破
也有机会跑出很有价值的公司对国内公司的这些所谓的商业模式不清晰出路不明确对这些公司有没有什么建议那就提前抱大腿比如阿里有阿里云和丁丁业务场景也挺好其实你说阿里像微软吗我觉得比如说新的 CEO 能像撒帖一样又破例我觉得他们的底子还是好的然后
字节的能力可能是在其他人之上可能不一定需要收购然后百度觉得自己行但不知道未来真的行不行然后腾讯现在也在试对吧我觉得抱好一个大腿可能比较重要提前实习一下硅谷经验选边站除了抱大腿有可能要思考
大模型 native 的产品怎么像搜索和推荐一样有这么好的数据反馈闭环如果谁才能跑出来我觉得还是非常有优势的这个就可以独立发展对吧如果能够跑出来的话如果有数据飞轮甚至说未来的网络相应我觉得这才是科技投资的明珠但是数据飞轮和网络相应这是留在互联网范式下的
在黑暗分析下这两个效应还存在不存在也不知道未来到底对吧对嗯
因为你也经历过上一个移动互联网的时代你觉得 AI 大模型的方式和上一个时代有什么不同互联网是讲究网络效应数据费轮规模效应这些对吧但大模型和 AI 今天好像还看不到这些效应我觉得起码 ChatGT 可能是看不到网络效应和数据费轮的它只知道一些用户 query 的分布能更好的指导训练哪些数据重要哪些不重要即可以 distill 去
做一些小模型满足头部的 query 我觉得今天 TryGPT 可能更像一个消费品微软 Copilot 也占住了 Copilot 这个性质 Character 占住了 Roleplay 这个性质还不像是那种数据飞龙网效应很强的我觉得之前移动互联网我们复盘一下之前可能最核心的是两个一个是全球多出了
四五十一的用户对吧然后第二手机上能采取更多的数据了你可以做机器学习和推荐所以其实你看手机的电商的匹配率是比 PC 电商的匹配率提升了一个数量级的也可以说移动互联网时代没有做机器学习和推荐的都没跑出来我觉得模型这里面很隐形的一个核心竞争力可能是成本如果你能把成本做的极低
你的模型还不输我觉得这就是极强的核心竞争力就像芯片了然后现在做的最好的是欧凡 i 我觉得头部公司当然配合所以我觉得成本是一个隐形的竞争力被大家忽视了很多所以未来怎么跑出来数据效应和成本上的规模优势我觉得可能是挺重要的取胜关键我觉得欧凡 i 身上也是看到了一定的规模效应的就是非常像芯片
就是模型能力每一两年提升一大代过程中解锁应用然后每一两年每一两代模型也能把成本降低非常多这就让后面的追随公司可能再过两代就追不动了你作为投资人就是在看以东顾老师来产品的时候和看现在这些公司和产品的时候你觉得你自己有什么变化你的关注点会不一样吗状态会不一样吗我觉得有两个点第一个点是
要意识到大模型是最核心的赛道然后没有模型可能是没有所谓的 AN Native 应用的我也不知道未来所谓的 Super App 没有自己的模型是不是 work 有可能没有自己的模型能力就不存在 Super App 但是也有可能大家构建在头部的模型之上也能构建出自己的 Super App 我觉得还是一个开放式的问题然后第二个我们也在想一些 Track 这个
AI Native 产品的指标目前可能还是最简单的流量上看谁每个月涨的比较快用户反馈比较好流程比较好可能这个跟移动互联网还是有一些类似的但不同之处可能就是首先是中国创业者更关注全球市场这是一个第二个可能智能是一个最关键的变量传统的产品经理我觉得包袱有可能很重
现在的产品还是有很多包袱的有可能怎么理解模型用模型的能力才能做出好的产品有可能现在在模型之上怼很多的 featuresUI UX 这些有可能是徒劳的最后有可能模型比如说就像电对吧你能做出来灯泡还能做出来电机能做出来电动车就是 AI 的应用跟移动互联网的应用
我觉得今天还是比较模糊的还很难总结出来最主要是今天的可参考的成功案例还是太少了也就头部那几家然后 ChatGPTCharacterProperty 我觉得真的 AI Native 的产品还是太少了还得再等个一两代的模型会有更多 Native 的产品出来这个速度是不是低于年初的预期对
我们年初低估了做到 GPS 的难度高估了应用大爆发的速度这应该是很多人的想法对那开源会不会冲击到币源模型的生态哪些人有诉求使用开源模型最终开源和币源能达到一个什么样的格局和最终的状况首先我觉得开源模型是追不上币源模型的而且差距肯定会越来越大这个还是回到很像芯片或者 SpaceX
因为大模型它不是一个传统意义的软件开源模型不可编码不可解释大家没办法一起做工钱对吧包括 GPU 要在单一一个集群连起来训练才更高效但开源模型本身的价值我觉得也是挺大的就是开源模型的使命它不是做最聪明的模型而是承接先进模型溢出的很多能力做民主化因为未来很多用户和企业的需求它是分层的
可能有相当大比例的需求是通过一定能力的模型就可以覆盖的很多企业和大规模的用户他优先考虑的是成本问题所以开源这里面可能是有优势的我觉得开模型如果在 2024 年说要追到 GT4 我今天看可能还是有挑战的我觉得 Lama 团队可能人才密度不够可能很多 research 问题可能现在还没搞清楚当然我们不能低估
技术开源和技术扩散的力量我觉得有可能明年整个行业都进步很大开源也追上去了对吧这里面还有一个有意思的我觉得大模型覆盖小模型是必然的大模型是小模型的生成器你比如说 OpenAI train model 的能力就很强它可以 train100 个 b300b 的模型只是说优先级去 train 大的模型但它 train 小模型的能力也是很强的
所以你比如说之前像 Mystral 它有 7B 的模型可能是 7B 上最佳模型但 OpenAI 有可能它顺手 trade 一个可能就是碾压 Mystral 的所以你比如说之前我们看 Mystral 融资我觉得也是很难做决定的因为它就面临一个被大的模型公司覆盖的风险然后我觉得下一个开源
模型重要的方向就是端侧然后端侧有一个很强的能把 AI 公司的成本结构发生很大的变化它的推理成本可以放到端侧这个最期待明年苹果手机能在内存上有一些大的变化如果你说长期格局我觉得有两种可能一个是大模型公司向下覆盖就你比如说
你可以理解 SpaceX 它也做了波音和空客的市场它也做了 Tesla 的市场这很像交通出行市场一样另外一个可能就是分层的每个交通工具都是独立的我觉得这也是一个开放式问题多摩泰和 Agen 会怎么进一步发展可以先说多摩泰就是多摩泰肯定是明年各家大模型公司的重点了我觉得核心叙事可能就是多摩泰因为 Google Gemini 首先它已经是一个可以统一输入
视频图片文字多么太理解的一个模型了而且它是从头 purchase 的这个难度我觉得是很大的然后 OpenAI 肯定明年也会卷多么太能力 Anthropic Character 肯定也会投入我觉得这些产品加了多么太能力之后短期是两个方向一个是理解一个是生成但长期我觉得都是一个统一的模型输入可以是多么太的输出生成也是多么太的
然后你比如说最近一段时间视频生成很火对吧那以前图片生成是 Diffusion Model 效果已经很成熟了但如果在 Diffusion Model 上加一个时间维度现在效果还是不错的但现在主流方案只能做到几秒钟而且是一个动画效果的如果真的想实现更长的一个视频更复杂的动作我觉得还是需要技术突破的包括 Diffusion 跟 Transformer
也不是不兼容的其实也是可以用 Diffusion 的方法结合 Transformer 这些架构去训练模型的其实 Transformer 最好的一个特点就是它容易 Skill up 能把模型做很大你比如说现在视频生成模型可能最大的比如说 8 个币未来能不能继续也像大圆模型一样持续的
Skill up,这可能是很关键的另外一个你看 Mid-journey 它的效果已经很好了但你说它生成的图片真的智能吗很多多模态领域还是非常值得重点投入做的你比如说帮我生成一个有逻辑的 PPT 帮我生成一个有逻辑的连环化就是你比如说未来到底是一个单一模态的还是一个
综合模态的我觉得综合模态它有很强的语言理解能力和逻辑能力有可能它生成的图和视频是更聪明的就是
你是需要一个纯粹只有更美的还是需要一个聪明的但又美又聪明的肯定是最好的另外一个点就是真的多模态模型训练难度其实非常大的需要的 GPU 更多所以我觉得明年的 GPU 肯定还是非常精确的还有一个有意思的就是训练数据大家都觉得 YouTube 上数据量很大对吧但其实这个数据是很难用到训练的因为视频的信息密度不够稠密
那本身没有语言蕴含的知识量多其实你看人类的语言发展了几百年上千年语言知识本身就是对现实世界的一些抽象所以本身就蕴含了一定智能所以从语言里面衍生出来智能我觉得是有一定道理的包括视频的
tokenizer 其实是很难的就是跟 vm 也不一样就是怎么比较高效的提取出来视频的关键信息比如说忽略一些背景对吧关注本身物体的变化这里面
还是有很多技术要做的还有一个有意思的就是是不是存在单一模态的模型你比如说 Metal Journey 是不是会独立存在视频生成模型会不会独立存在我觉得也是存疑的就是视频生成未来一年的效果肯定会非常好就像今年图像生成效果一样这个 V1 到 V6 卷那么多对吧
但我觉得长期依然还是不清楚的它也面临一个会不会被更强的模型公司覆盖技术路线也有变化到底是 Diffusion 还是 Transformer 但我觉得 Transformer 这条线肯定是更容易 Skill up 包括视频生成的商业逻辑我觉得无非就两条一个是像 Adobe 一样走 Enterprise 让企业付费一个是走 TikTok 像剪印一样
跟内容平台结合我觉得今天商业模式还是清楚的另外你比如说 agentagent 这个概念在国内被炒的是比较火的但是今天我很难说出来说有哪一个产品是 agent 的 role model 是没有一个标杆产品可以成为一个 agent 标杆产品的我觉得 agent 大爆发
最核心的一个还是底层模型的 resonance 推理能力要上来你比如说如果你推理的准确性是 90%如果你做 10 步推理那有可能这个准确率就降到 30%到 50%了那这个
可靠性就非常低了所以那 resonate 推理能力可能是非常重要的包括模型的推理速度如果你的推理速度很快那你 agent 做很多步的推理那我觉得也是非常重要的 agent 肯定是长期很重要的但是
第一是取悠于模型能力第二是这个时间点很重要这可能是应用开发者未来要好好想的机会吧我听下来你整体还是觉得模型越大越好因为模型越大它的 resonance 的能力越强绝对的同样的数据同样的 GPU 你把参数量扩大它的 resonance 能力就是提升的然后同样的参数你给更多的数据给更多的 GPU 它的
也更聪明了我觉得今天来讲只要 scale up 目前效果确实是变好的至于哪天停不下来不知道今天起码最领先的公司也没有摸到 Transformer 的天花板你怎么看那一波就是有一波国内的创业者他们觉得模型不需要越大越好这一派的观点我们有一个 portfolio 它是一个问答引擎今年它也 train 了一个自己的模型
覆盖了很大比例头部用户的 query 所以我觉得需求是分布的有一些 query 需求并不需要 capability 很强的模型我觉得用小的模型覆盖是没问题的而且成本优势更强我觉得这个是 make sense 的不一定很多地方比如说我从北京到天津开车和高铁都可以没必要用火箭飞船对吧如果从北京到旧金山
可能如果两个小时的 SPECIX 送过去其实是需要 capability 很强的我觉得需求是分层的这个是跟他们的自己业务场景匹配所以说他们逻辑也对这个逻辑从成本角度我觉得是 make sense 的对我觉得从成本角度是立得住的但是从时间角度不一定立得住因为我觉得终极状态可能为什么叫 foundation model
那这个 Foundation Model 大的模型是可以生成小的模型的然后我觉得 OpenAI 未来也是一系列的模型来服务客户的它有大的模型有中型的模型有小的模型甚至它也有端侧的模型而且覆盖多个模态输入输出我觉得最后它就是一个统一的入口来
输入最后输出最后你会发现 openAI 的 capability 能力是最强的成本也是最低的我觉得大概率会是这样的结果我们看硅谷你看它的巨头都可能要自己做要么就要控一家公司或者收购一家公司它要自己掌控大模型 foundation model 其他的公司比如说第二梯队的公司他们跟谁合作他们不可能每一家都训练一个成本这么昂贵的一个大模型对吧
他们也需要这样的业务他们跟谁合作生态未来会怎么转起来你比如说 Southpaw 他们投了 Anthropic 非七巨头以外的其他公司可能就是积极拥抱最领先的模型然后再用开源模型包改我觉得就是首选 GPT 其次 Cloud 然后再用一个 Lama 我觉得是现在很多硅谷 SaaS 公司 Data 公司在尝试的这就是现在大家的一个状态但你说今天
大家尝试出来太多的结果了我觉得好像还没有看到谁推出来特别叫好叫做的产品了那这个 GPT 迭代到什么时候就能算够了呢它会一直那么迭代下去吗 GPT-5 大概什么时候能达到我觉得 2024 年应该能看到 GPT-5 我觉得模型迭代是停不下来的而且我们从 Mindset 上来讲也不应该把模型训练当做 Kapex
而是把它当做研发的 R&D 投入我觉得模型训练更像是研发的 R&D 投入人类对智能的追求我觉得是停不下来的除非说哪天技术路线遇到瓶颈了你再投入很多钱智能效率的提升不高了 ROI 很低了我觉得是有这种概率的比如说明年数据不够用了然后 GPU 连到几万张
你想连几十万张一个集群连不动了有可能能源有问题带不动几百万张卡的数据中心了你从硅谷回来然后你在那边待了差不多半年你觉得什么状态都描绘一下我觉得硅谷 VC 也挺难的我觉得硅谷 VC 最大的竞争压力来自于微软和 OpenAI 我觉得微软和 OpenAI 有可能会把
很多软件的生意都会做掉因为硅谷 VC 之前投软件投的还是挺舒服的我觉得 AI 有可能会把很多传统软件的形态都会吃掉另外刚才咱俩聊到传统 VC 金融产品在 AI 领域投资是不是还 work 这里面也是一个有意思的话题你看多数 VC 其实错过了 Krypto 也错过了 Tesla SpaceX 对吧这种很重没有商业模式风险很高的
我觉得可能就是类似科学发现的投入我觉得也有点像以前的曼哈顿计划其实微软我觉得有点像美国的国企的他们来投入是很 excent 的举国体制我觉得硅谷 VCA 也不太清楚未来走向其实大家有时候心里也有点模糊你说哪家 VCA
手上有船票拿到新的 AI 船票我觉得好像也不多另外一个点如果从典型 VC 的角度我觉得硅谷的好项目还是很多的但是估值我觉得又很高我觉得短期肯定是有 overhyped 过去半年我们是没有新的出售的我最欣赏的一个硅谷 AI 投资人是 Nate Friedman
他是 GitHub 的前 CEO 我觉得 Net 做的 AI grant 已经在 AI 领域完全超越 VC 了他很早期就投了 character 和 publicity 我觉得是硅谷 AI 投资人里面投票率质量最高的而且影响力也是最大的可能比很多传统硅谷 VC 的 position 要好
它是作为个人投资者投的还是全是个人的钱 VC 产品怎么办应该怎么改进这波 AI 投资能反映出 VC 的产品本身有什么缺陷你比如说之前的生产资料是土地所以黑石靠地产这个 asset 就做得很大对吧现在的关键生产资料可能是 GPU
但 AIA 公司没那么多钱买 GPUGPU 又变成了一个类似土地的生产资料这个就是新的 asset class 这个有可能就是新的债的金融产品出来的机会我觉得 VC 这个产品肯定不适合大模型的投资但 AIA native 应用的投资可能是 make sense 的我觉得 VC 本质还是一个概率模型
因为你一个基金投三五十个 portfolio 最后可能还是 power law 有三五个好的对吧我觉得这个本质问题还是说今天的 AI native 应用没有爆发所以硅谷 VCA 也比较 suffer 没有赌到大的机会因为第一波因为第一波就是模型而且今天依然还是投入模型卷模型的时间有可能明年底 AI native 应用开始爆发那个时候有可能更 make sense 了只是说这个阶段
投模型本身不太 make sense 所以你看硅谷很多 VC 没有投 charactercharacter 最早期讲的模型 AGI 的故事大家觉得看不懂后来讲产品故事大家觉得产品成长空间和天然防板好像看不到然后现在又回来讲模型的故事估值又很高了几十亿美金大家好像又觉得也没有信心我觉得对
所以硅谷投资人跟中国投资人一样难是吗我觉得会更乐观一些情绪乐观一些情绪更乐观一些而且更分散虽然充分竞争但是赚到钱的投资人还是更多的你说在之前的周期里还是这一次在之前的周期而且硅谷的整个基金生态我觉得是非常的繁荣那个土壤还是包容犯错误
而且包容 fundamental 的投入对 2024 年 2025 年的大模型战局能不能做一些预测包括什么时候会迎来应用的大爆发哪些可能的应用方向有哪些猜想对于巨头或者国家来说有没有大模型大模型的成与败意味着什么比如应用大爆发我觉得在卷个一到两代可能卷过 GPT4.5 再卷到 GPT5 那没比明年底那个时候应用大爆发我觉得是有一定可能性的
应用方向还是挺难预测的就像乔布斯当年也很难预测 TikTok 可能这么火对吧
我觉得更多的应该关注技术来刺激的新需求你比如说短视频就是手机技术和网络带宽技术刺激出来的增量的需求我觉得格局也挺难准确预测的影响因素很多 XAI 和 byteDance 有可能是黑马你说对巨头的影响我觉得可能会很大的就是一个国家
如果没有电和能源以前会怎么样我觉得未来 20 年 AI 创造的直接增量 GDP 可能是比互联网过去 20 年创造的增量 GDP 要大个 5~10 倍你就算一个账如果这一波 AI 是替代 10 亿白领每个白领工作年薪是 3~5 万美元这就是 3~50 万亿美元的 market size 如果全球 GDP 翻倍
那就是从今天的 96 万亿美元变成 200 万亿美元增加 100 万亿 AI ticker rate10%~20%这也是一个 10~20 万亿美元的 revenuemultiple 乘以 10 我觉得会诞生很多大公司的我觉得是一个粗略的算法还有一个就是明年数据中心的用电
肯定会提升非常多有可能今天可能数据中心的用电量占人类总能源的 2%到 3%我觉得未来涨到 10%到 20%是可预见性也蛮高的所以走到最后可能又是能源的竞争差一个话题你觉得车企应该怎么利用大模型怎么做 AI 我觉得自动驾驶还是 AI 落地最清楚确定性最高的一个产品
而且商业模式很清楚你比如说如果真的有一个 AI 的司机我每个月给他付个 500 块钱 1000 块钱我很愿意的我觉得有可能自动驾驶是车里面智能化最关键的明珠吧我觉得其他的交互啊娱乐可能还是小事情但自动驾驶经历了一个
1718 年的高峰过去几年有一些低谷反而在低谷的时候更应该重视他们其实我觉得自动驾驶是经济价值是非常清楚的一个而且对能源是有很大的如果自动驾驶实现了我们的能源利用率可能会提升非常多可以更好的规划了我觉得自动驾驶全面落地是不是比 AGI 来的会更快
其实自动驾驶的安全性上已经全面比人安全性要高了但是大家的担心 safety 问题 competence 问题是很高的我觉得自动驾驶是没有像拆的 GPD 一样出圈大家有很多的担心对吧当然还有一个是成本的问题我觉得 Tesla 这种方式有可能是能在局部区域
明后年带来大规模落地的对因为你比如说你从比如说你从三藩开 Tesla 去 Parlato 其实接管率是很低的其实你可以充分放手的我突然想到马斯克他有 XAI 但国内的这些车企其实跟大模型公司结盟的还挺少的他们两个有结合的可能性吗我觉得车企下一步做机器人是非常 make sense 的
如果考虑大模型我觉得车里面的娱乐终端有可能考虑接这是比较自然一点更多还是一个类似百度音箱助理的那种感觉更聪明了一些大模型能帮助他的目前规划吗我觉得是有可能的模型能力很强了以后带来的语言转化成 coding 能力会很强你比如说这个小孩没有做完作业不让他看电视他可以实时生成这个 feature
那车里面的一些路线规划我觉得也是可以实现的你比如说遇到什么情况下你帮我怎么着然后你直接给他说了也许就可以了也不用再开发这个功能那个功能了有可能对这个驾驶终端的利用率会更高都有一个好处就是它的体积足够大端侧的算力是很强的
所以能做运算的东西很多的它越有电越有算力如果你部署自动驾驶的我觉得它的实质性可能不一定能满足要求但是你部署一个娱乐的和生活助理的我觉得是有可能的所以 Apple 跟 Tesla 我觉得还是蛮有优势的我觉得明年开源在卷端测应该还是有优势的
说点好玩的吧你在硅谷有什么有意思的事就比如说你说硅谷投资人很撒费是我没想到的有一些投资人撒费有明显不同的就是更尊重科学家文化硅谷公司更注重 fundamental 的投入而不是一些小的非车商卷来卷去他们更
更喜欢所谓的结构性的创新能在一个领域做一些大幅的突破的另外一个有意思的就是很多小的 AI 产品开始很容易做到 5 到 10 个 million 的 AR 的用三五个月的时间我觉得这个 AR 增长的速度好像比之前的 SaaS 还要更快因为所有的基础管道现在比以前要更通畅了
移动手机对吧还有 PC 电脑这些技术设施是比以往更好了有可能移动互联网这场仗打了 8~10 年 AA 这场仗有可能是 3~6 年就结束了可能是更快的把应用端子也结束了这么快那不快有可能还是一个 20 年的事
你说这个就是家里应用是吧我觉得可能长期的改造是可能很长时间的事我觉得模型这场仗有可能明年就打完了明年你有什么期待的事我觉得如果明年再不出来几个所谓的 super app 大家会失去信心吧你比如说 super app 起码能做到几千万的 deo 大家能看到而且能有好几个有更多的应用端的公司能做到
5~11 美元的 AR 这是会给投资人更多的信心的今天还太少了明年还是期待看到三五个 C4F 能出来我们刚才聊了这些明星的公司和产品你觉得这一波创业者他们有什么共性我觉得从模型公司来看一个模型公司最重要的是至少有一个天才的科学家你像 OpenAI 有伊利亚还有好几个类似伊利亚一样的人
Anthropia 有 Dario 还有其他几个人包括你看 Runway 他的 CTO 也很有意思然后包括 Google 出来的 Idiogram 他们的 CTOJohn Lanshan 也很厉害是 Diffusion 这块贡献很大的你包括 PK Labs 他们的 CTO 陈琳在 Diffusion 这个方向也是很厉害的我觉得看一个模型公司看他那个天才 researcher 是最重要的不一定是 CEO
但是一定得有一个科学家这样的人不一定是有我觉得上半场科学家是最重要的而且科学家文化持续不断地探索做实验是最重要的下半场有可能是商业和应用但是未来做出好的应用到底是什么画像的产品经理就是所谓的下一个移民和王兴到底是什么样的我觉得有可能是从 research 背景出身也有可能是其他背景出身
我觉得他不知道的而且可能中国和美国会有点不一样对 我觉得区域还挺大的有可能在美国那边模型就是应用没有专门的应用 Character 你说它是模型公司还是应用公司用户来讲它就是一个应用公司但是应用的 99%的体验就是模型来决定的它一定程度上它也是模型公司其实你看它团队的人核心都是来 BO 的模型的你看过去一年当中
可能有几百个团队想做 character 这个方向但好像只有 minimax talky 做好了因为 minimax 有自己的模型所以你看用 Lama 开源的模型做 character 效果是不够好的但欧洲还有一个 Chat 那个做的也还可以我觉得有可能模型及应用应用体验直接由模型决定有可能这是一个挺重要的点的国内会是这样模型及应用吗我觉得国内会把
产品和场景定义有可能会做得更好去在模型之上加更多的东西这也是一条路线然后你比如说 character 你有更广泛和灵活的能力你创建任何的角色所以你的多样性和长尾是会非常明显的但是很多人有可能也不需要多样性和长尾他就需要几个头部的他就需要一个最漂亮的或者最能讲故事的有可能也能满足很多用户的需求他也能满足他也能做到
一定用户体验我觉得也是有机会的国内强硬用的这条路需要自己一定有模型吗像朱孝武说在别人的地基上做房子可以吗我觉得要做到基础模型公司做不到的你比如说 iPhone 也做了摄像头但是抖音依然做得更好你像 iPhone 也做不了打车我觉得还有很多事是模型公司也做不了的可能还是有机会的然后比如说行业的 know-how
垂直模型的空间有多大我觉得有可能不存在垂直模型因为一个领域它可能没有足够的训练的 token 量来支持训练一个垂直的模型因为模型要满足 scaling law 那需要的数据是无限多的数据那垂直领域有可能没有几个 trillion 的 token 来支持训练那可能很快就停下了那我觉得未来有可能就是
通用的模型它变成一个非常厉害的推理引擎这个推理引擎渗透到各行各业当中就很像搜索一样 Google 做了通用搜索但你看视频搜索也做得很好然后电商商品的搜索其实 Google 也吃了很大的虽然它没有做电商但是你比如说自间站电商的流量很多都是 Google 来分发的它也吃了很多电商的包括旅游产品的搜索 Google 其实也吃了很多
但你看国内反而就很分散百度做了通用搜索但是美团做了本地生活的搜索携程又做了旅游产品的搜索小红书的生活搜索我觉得也非常好淘宝做了最肥的一块商品的搜索其实百度跟 Google 同样都是搜索但百度失去了很多我觉得这也是一个如果一个行业的进入比例很高那有可能会存在
垂直的应用场景解决方案公司但我觉得不一定存在垂直的基础模型公司基础模型未来可能还是一个通用的技术就像搜索一样门槛很高国内的技术辨识度低所以有可能会更分散一些各行各业可能会有一些垂直解决方案公司出来对美国的技术辨识度很高有可能你看 Google 就把很多行业的搜索都做了包括你看微软
几十年毕竟都想抢 Google 一直都还没抢过去我是感觉好像有两派你是相信大模型的那一派国内也有一派是就不相信了大家还是觉得还是做垂直模型靠谱你周围接触的人哪种多我接触的 researcher 最多这些 researcher 都是一手做实验的这些 researcher 也是相互影响有可能相互加强的
所以他们更有信心所以传导到我们这里更有信心我觉得第一是相信科学家第二相信最一线的公司他们的动作相信这一波技术长期的 power 短期的噪音肯定是很多的当然不排除这一波技术会失败我觉得失败概率还是蛮高的这 1000 亿美元投进去哪天数据不够用了 power 不够用了 skin lock 不 work 了我觉得都是有可能的
这是坏语气对有可能比如说 skill 到 2026 年 27 年有可能不 work 了也是有概率的或者说未来参数量到几十个 trillion 那再往上提升效果就不大了我觉得就遇到瓶颈了起码从今天我们是没有看到 transformer 这个架构的天花板的 openAI 也是没有摸到的所以我觉得在没有摸到之前我们就是要积极拥抱去相信它还有路可以走
而且目前还没有看到其他路径比 Transformer 的训练和智能效率更高但有的其他的架构是用小量的数据可以有更好的训练效果但不 skill up 目前 Transformer 和 SkinLock 是走向 AGI 最有可能的路径还没有第二个其他路径那么说三条你觉得是今年最大的噪音第一个噪音就是大家对复刻 GT4 想的太简单了大家觉得
GPT4 很快会都超越了我觉得是比较难的第二个噪音就是所有人都去做一个 chat 产品但是长期来看 chatGPT 和 character 这两个产品形态一定对吗我觉得有可能还会有更多的更重要的产品形态大家还没探索出来有可能这两家公司会把大家带到一个坑里因为它两家是一个模型公司不是一个应用公司大家都把 chatGPT 和 character 当应用我记得这就是噪音
其实他两个是模型公司我觉得第三个噪音是大家歪歪太多了 fax 比较少 OpenAI 刚经历了政变以及 SAM Ultimate 的回归你在微博有没有了解到关于这起事件的更多信息你怎么看这起事件就这起事件对于大模型的产业意味着什么觉得 SAM 回归后以及董事会换血后的 OpenAI 下一步会有什么样的值得期待的如果把我换到 OpenAI 的员工上我肯定也是跟着 SAM
因为我奋斗了好几年的股票只跟 SAM 有关 SAM 如果不在我努力了几年的股票就黄了因为大部分的激励都是靠股票的然后微软这边的合作也都是 SAM 来主导的微软 CTOKevin Scott 也是赌上职业生涯来力挺 SAM 这是一个利益的问题为什么 700 多良将都一致跟随 SAM 对吧至于 SAM 为什么被开掉
至今是没有任何解释的如果阴谋论的讲 SAM 肯定是做了很激进的事不然不至于一个董事会会把一个 CEO 给开掉但这个激进的事肯定还不能说所以大家就自己想到底是什么事而且这个事有可能跟微软有关起码目前 OpenAI 是没有人才流失的
我觉得这是很难得的大家都说更团结了吗好像 AGI 只耽误了四五天我比较好奇伊丽娅后面会怎么样她现在好像不怎么在办公室出现了我们肯定是希望伊丽娅继续留在 OpenAI 她还是一个挺值得尊敬的一个优秀科学家的如果 OpenAI 损失了她肯定还是挺大的损失的还有一个有意思的就是 Sam 跟乔布斯和马斯克好像不太是一类人
乔布斯和马斯克好像在硅谷没有朋友但 Sam 在硅谷所有人都是朋友然后你看 Sam 去国会问询的时候跟国会的议员都是朋友所以我感觉 Sam 很像是一个政客如果说 AGI 真的实现了他还有他的发的那个 what the call it 那个币你说 Sam 会是一个新形态的总统吗我觉得 Sam 很像政客
它之所以是硅谷人脉网的一个原因是不是因为它之前在 YC 对 YC 这个位置很重要的 YC 还是硅谷创新的一个关键节点之前你对于这个产业现在最想知道的一个问题是什么大模型 native 产品怎么像搜索和推荐一样做出来数据分轮甚至说未来有网络效应这是需要一个
类似乔布斯的天才产品你来设计的我觉得大模型就是新的计算机你怎么把这个计算机和上面的生态设计好这是需要一个很综合的能力吗我觉得应该也是所有人都想知道的也是最期待的一个事对看看明年的市场走向我觉得还有一个就是 Transformer 就等于 AGI 这个有可能不一定对只是说 Transformer 是最接近 AGI 的一个
技术入境但因为 Transform 本质还是一个统计概率模型它还是预测下一个 token 的这种方式来预测是不是会有瓶颈我觉得还是一个开放式问题只有走下去才知道不走下去是不知道的像你今年会有怀疑自己的时候吗怀疑这么 all in 的投入这个赛道我觉得今年特别考验学习能力因为技术变化太快了我们甚至每周都有一个读 paper 的会
因为 paper 里面是很重要的一些信息对技术判断我觉得今年很大的一个压力就是要不断的学习肯定也会 challenge 问很多问题但是当你看到硅谷那么牛逼的公司那么天才的科学家都一往无前很相信我觉得从他们的眼睛里是看到了光和希望我还有一个比较好奇的问题就是如果 AGI 真的实现了
对地缘政治会有什么影响你比如说大模型它是融合了多个语言的那会不会带来新的文化的融合然后你比如说翻译产品同声传译每个人都触手可及一个中文人是不是可以跟一个印度民族方言的人谈恋爱对吧我还比较好奇 AI 变强了之后会不会有新的消费终端
你比如说硅谷有一个 AAP 就带在胸口那个我觉得也挺酷的它可以随时随地的 access 最强的 model 其实它就变成了 XHP 的一个分化渠道而且它还可以实时的帮我采集很多 context 比如说今天我们俩在这聊天可以实时的就整理一个会议笔记了我还有一个好奇的就是中国的 AI 创业者怎么做好全球化这里面有很多文化的理解其实很多是文化产品
海外 local 团队的信任和磨合进入海外市场 compliance 数据隐私这些问题怎么解决我还是很期待未来三五年会跑出来新的很大量级的中国团队创办的全球化公司的我就让你回答一个你回答了四个了我觉得这里面开放出问题太多了因为有太多模糊和未来的