vol.114.AI的2025和DeepSeek们的未来 | 对谈复旦张奇教授
01:24:28 Share

哈喽大家好 欢迎来到我的播客节目起桌联兵课 我是大卫翁这期节目是 1 月中旬我回上海的时候和复旦大学的张奇教授录的一期关于 AI 行业的年度复盘本来是准备春节之后再放出来的因为春节期间大家可能也没什么时间听播客没想到这两天 DeepSick 突然出圈再不放呢 还不知道 AI 行业会出什么大事所以就赶紧在大年初一把后期处理完然后准备放出来了

不过实话实说,其实我在昨晚除夕夜还是很不好意思地打扰了张希教授,问他 DeepSeek 新版本出来之后有没有觉得我们的录制内容有什么需要修改的,没想到他大手一挥说没觉得有什么问题。这当然一方面说明我们的讨论是经得起考验的,另一方面呢,这一期的很多内容可能也会给现在有点上头的市场对于 DeepSeek 的这种热情泼点冷水。

当然当然我也承认 DeepSync 非常令人震撼这点其实我在用它的上一个版本的 API 接入沉浸式翻译插件进行体验的时候就已经有所感觉了我在节目里边也提到了它的翻译效果甚至比公认的最适合翻译的 DPL 模型都好了很多

而到了这个新的版本呢,无论是普通人在使用中的体验感,还是模型本身训练量和算力要求的这种压缩,对于中国乃至世界 AI 行业来说都绝对是具有里程碑式的这种意义。

另外呢它其实也证明了我们在节目里面得出的几个结论比如说 agent 会成为 2025 年行业最有潜力实现跨越式发展的这种应用方向因为 DeepSeek 里面体现出的这种反思和学习的能力就很像是把一个 agent 应该具备的能力活灵活现的展现在我们的面前不过呢

我在这几天使用 DeepSync 的过程中依然会经常回想起张教授在节目里面提出的一些观点比如说因为无论是哪个大模型底层逻辑依然是微数据训练和运用统计机器学习的这种规律所以呢这一轮深层式 AI 的技术天花板就在那里我们是看得到的甚至因为 DeepSync 加入了这种深度思考的功能让我们可以更加清楚地看到它的整个思考过程

反而能够更明显地感觉到它是一个人工训练出来的智能模型而不是一个真正具有自我意识级别的所谓智能体比如说张老师在节目里面提出好几次的这个 strawberry 有几个 R 的这个问题 DeepSick 就足足花了 50 多秒去思考翻来覆去地想了无数遍

当然好在最后还是犹犹豫豫地给了我一个正确答案所以骄傲是绝对值得骄傲的但是是否因此就应该觉得世界大不同我们直接拥有了一个 OpenAI 级别的核弹具有颠覆性的这种成果呢我觉得听完这期你可能会有一个自己的答案

对了 说这么多 还没有介绍这次的嘉宾张奇教授的背景 他是复旦大学计算机科学技术学院的教授 博士生导师 上海市智能信息处理重点实验室副主任 也是复旦谋私大模型的负责人 对 他也自己下场做了一个大模型

他在国际重要学术宽物和会议上发表了 200 多篇论文并有自然语言处理导论和大规模语言模型理论与实践两本著作张老师其实还获奖无数我在这里就不列举了会放在 shownotes 里面但对我来说其实更重要的是他提供了一个目前中文播客圈相对少见的看待 AI 行业的这种视角那就是在业界和投资界之外的学界的视角

那么作为一个研究了自然语言处理 20 多年的学者,我觉得他对于这一轮生成式 AI 狂潮的很多总结和展望,至少对于我这样一个 AI 门外汉来说是非常深入浅出,又具有很强的启发意义的。

好七七八八说了这么多那就让我们赶紧进入正题吧祝大家在春节假期里收听愉快今天特别高兴啊能够邀请到这个复旦大学的张琪老师来做客起足联名课其实我跟张老师的认识也非常的凑巧就是我们俩是

是一起拿了第一财经的一个奖这个行业新锐然后当时有幸跟张老师一起吃了一顿饭当时就觉得您因为从事这个人工智能的研究已经 20 多年了对吧其实第一方面是非常非常的有经验但是同时呢很多的表达其实我觉得很深入浅出另外呢就是因为现在虽然关于 AI 方面的播客节目挺多的了但是绝大部分呢要么就是 AI 行业的从业人员

要么就是 AI 的媒体还有一些可能是早期风险投资基金的一些投过 AI 项目的这些基金经理会出来聊一些关于 AI 行业的观察就至少在我的视野里面挺缺少学界的一个视角的就是学术界的朋友们可能还是比较对播客这种形式不是很熟悉所以我特别想借这次这个机会可以补上这么一个视角

是非常感谢你有机会然后我觉得因为学系可能对于这种新的媒体传播形式没有那么关注对但我觉得其实这个形式应该是非常的好对平时的一个交通和运动的过程当中对然后说起来非常的不好意思就是我其实也是计算机专业毕业然后

工作之后第一份工作是正儿八经的马农做了两年的编程但是做完之后后来去读了研究生就转入了金融行业大概有接近 20 年没有碰过代码了

所以这次的 AI 这个热潮呢说实话在一开始也是非常的懵懵懂懂甚至是抱着很强的质疑的因为我在我金融行业的最后一份工作里面是做了一些关于自然语言处理的尝试因为您可能也知道就是现在的金融机构会发布很多的研究报告它有大量的这个内容但是呢它都散布在几千几万篇研究报告当时我在想能不能有一个方式去

把这些报告里的内容抽出来然后不同的机构他们在这个时间点关注的信息什么是最重要的对吧这个自然语言处理领域关于这方面有很多的研究但是后来发现就是打标签啊就是相关的这个训练啊我们找了一些外部的公司合作非常非常艰难就是如果你是一个

比较专业的语料库可能还好但是因为你像金融机构的研究报告它范围太广了就是我们在聊几十个行业在聊宏观的情况各个国家宏观所以它的那种语句对

很难去把它给模型化或者说怎么把非结构化变成结构化的过程所以其实在那一波之后我对于 AI 这个东西更多的简单这是不是就是一个噱头然后并没有什么实际的落体的东西直到因为我这两年在日本生活 TouchBT 是我现在用的最多的一个 AI 的应用

这个其实我们在正式开始之前其实想跟张老师来聊一聊我们现在自己在用的一些 AI 的这个应用那我非常不好意思我其实用的最多的就是 ChatGPT 然后我请他帮我做的最多的事情就是写一封日文的邮件或者回一个日文的信息因为翻译这个事我觉得

太牛了 就是这一波声称车 AI 出来之后比起之前我们常用的 Google translate 或者这种方式它的语言的表达自然了很多而且你也不用一字一句的把内容告诉他你就告诉他我大概想写一个什么内容他就能很好的把它表达出来然后日文因为里面有大量的敬语有一些特别的这种格式那他就可以

非常好的模拟你现在的这个比如说我是给一个服务行业写的东西跟我是给一个我的长辈写的东西他所用的语言是非常不一样的那我只要把我的这个角色告诉他他就可以很好的写出来而且他有记忆功能就是我这一次给他回了我下一次就是告诉他上次我回了一个什么邮件我现在需要再给他一个回复 TrashBT 是完全可以记住你之前做了什么的

我觉得这个就特别特别的方便它就真的成为了我在日常生活中非常必不可少的一个工具所以我不知道张老师您在这两年特别是 2024 年有没有大量的使用什么样的应用或者看到比较有意思的应用我们可以先聊一聊

对其实我自己主要就是做自然语言处理就前面 20 年都是做自然语言处理像刚才您说的核心点就是从非结构化文本到结构化的这样的一个工作其实自然语言处理核心就是这个没有大模型之前其实自然语言处理是不能做生成的就你除了机器翻译之外那机器翻译也是有本可依的就是你是有一个原来的语言然后到一个新的语言嗯

但是即便是这种情况下它的翻译效果就像您说的它其实翻译出来语言是很不自然就是因为生成能力其实非常弱

所以在没有大模型之前基本上自然语言处理的生成式的任务没有什么人敢碰是非常难的一个工作但是这次大模型出来之后其实文本它的生成能力是可以做到非常的好因为它建了大量的文本所以从这一点上它就是把我们整个自然语言处理的研究领域就有个翻天覆地的变化

回到您刚才说的使用上因为我自己其实主要做自然语言处理然后日常的工作就是写论文读论文做点 PPT 做点报告这样子所以我自己主要就这样几个方面第一个就是编程编程的话可能之前是拆 GBT 或者是 Cloud 然后现在肯定是交互式的 Cursor 会更方便一些它的效果会更好

当然这个我觉得主要是因为我们经常会要切换一些不同的领域比如说之前用 Python 写这种神经网络的相关代码在 PyTouch 上工作但是可能你要做一个 demodemo 并不复杂比如说我们要实现我们在做 SO 的这种 demo 还需要一个流逝的这样的一个交互这个东西对于我们做研究员来说可能就离得太远了从来没有干过这事儿

但是你如果像过去你查文献等等时间就会很长你让它帮你生成个出版可能会有错误但是你在这个上面你就大概了解了整个的这样一个流程你其实可以非常快速在它这个版本上面做一些迭代可能我觉得 90%或者 80%的代码其实并不能够直接使用但它给你的框架是非常好的你有编程的基础你是可以快速的进行切换

然后第二个比如说可能我们现在在用一些 Rust 语言然后你原来都是写 Ci 加写 Python 的你没有接触过 Rust 让你从零写一个你非常难受这个学习成本很高但是仅仅是一段代码的话你其实语法基本上都是比较类似的你根据它那个结果可以快速的进行一些调整所以我觉得编程上面其实对于这种就是你快速切换一个领域换一个方向不是特别深入的那种编程

它其实可以降低你很大的这种工作量关于 AI 编程这块我能不能这样理解就是它给你搭了个架子然后你再在里面再去精雕细琢一下等于你用不同的语言原来我们需要完整要学一套语言现在有了这样的一些 AI 的编程工具之后相当于你就不用去学这门语言它可以直接把相关的内容先生成出你可以快速的入门比如说我可能用 RUS 仅仅是改一小段代码

我并不是要长期做 RAS 的开发这个时候其实你可以快速的进行一些入门型的这种工作比如说我不是做前端的我可能就搭一个 demo 它就可以给你做出来一个样子你不需要在上面特别的精焦细琢跟你不是做这种专业性的前端开发它可以快速的帮你切换过去这是一个方面就是快速的切换不同语言前后端的这种开发或者你不熟悉的一个框架它可以帮你快速的去搭起来这个部分

第二個方面就是 Cursor 是可以讀你的 Project 所以你在去寫代碼的時候有很多其實不是一個腦力勞動它其實是體力活因為你要完成這個規範性你要去寫好 comment 你需要把這些東西都填上它可以根據你的 Project 的歷史這些文件然後幫你快速的給它補全這個時候可能原來你需要打幾十個字現在一個 tab 鍵就過去了這個就會加

加速你的程序的写作比如说可能也许 20%的时间在整个这个流程里面其实我觉得更多的时候如果在你长期工作的这样的一个项目上它大概就是帮你节省了 20%左右然后把这些不重要的

体力火帮你给省掉了明白其实 2024 年 Cursor 公众这个层面出圈是因为诞生了几款 APP 它是完全由 AI 小白或者说编程小白等于完全没有编过程的只是有一个想法那么把这个想法给了这样一个平台它就生成了这么一个 PP 当然我也问过一些我的真正的马农朋友们他说好像也没有那么简单

也不是你就告诉比如说你就要做一个淘宝这种肯定是不行的哪怕你说一个比较简单的要求也不是 Curse 这个平台就可以全套都给你还是要有一些这种怎么去把它打包或者怎么样去把它部署等等的这样的工具在里面但是不管怎么说它还是帮助不懂编程的人能够完成从 0 到 1 的这么一个转化

这个跟之前的 Pilot 这种包括最早大家想用 ChatchBTC 去帮你改一些代码或者什么好像是一个范式上的转变或者模式上的转变

或者是可以这么说就是 Cursor 它更聚焦于这样一个场景就是代码我把这一个场景按照不懂编程的人懂编程的人再进行细腻度的切分然后我根据这个部分做特定的训练然后它就可以达到一个比 ChatGPT 更好的效果所以这其实也是我觉得从 24 年开始我在各种报告里面都去强调的其实 AI 核心是场景并不是垂直

不是说一个行业是一个行业太大了其实是场景 Cursor 就是一个非常好的例子可能比如说我觉得 Cursor 也许未来还会再有一个编程它可能就是纯纯的给小白就完全不让你懂代码然后你在这种范式下面怎么能够构造出来一个简单的这种 demo 还有一些可能就纯纯的是为了我提升你整体编程效率我给真正的马农去用这两个场景我觉得还是很不一样

对然后其实可以再切分嗯就是特别专注于某一个场景的这种 AI 的辅助工具对反而可能会更好用一些就太通用的东西就 TradGBT 或者这种的话对它两个不同的发展方向这样可以

我觉得对于 AI 我现在看到的它的能力边界其实就是针对场景即便这种模型 O1 O3 出来我依然觉得它其实实现不了通用化它不是能力的提升而是场景化的学习您说的是这一轮深沉式 AI 的这种大潮

或者是说我觉得就是现在的统计记忆学习范式用数据驱动他就达不到因果的一个逻辑或者不能像人一样进行能力的提升嗯比如说我可以让他考研的数学做到 130 分但是你依然数不了 strawberry 里面有几个 r 因为这个

对人来说是如果我研究生考试数学考试我能考到 130 分是非常高的一个分数对那我其实做小学应用题我觉得你就粗心错一两个你得 95 分应该是分分钟的事

如果你数 Strelberry 里面有几个 R 这种事情你不可能做不对除非就是你可能发烧感冒了但是人是这样能力的提升但是对于机器来说这是两个完全不同的场景就是考研是一个甚至考研里面的题型都是如果你这个题型没有见过可能你就不会做然后我微积分做得很好我的初中数学题如果不给你训练你也做不对

然后甚至我只给你训练上海的考题你换到山东的考题你可能就从 100 分降到了 40 分因为他的训练数据不一样他的偏重点不一样老师的语言的表达风格不一样那使得你就可能会有大幅度的下降所以我觉得从这种角度上来看我就觉得场景化

越小的场景整个 AI 发展其实都是场景化来驱动的只不过现在大家看到拆 GPT 好像一个模型能完成很多功能但其实每一个都是一个场景堆起来但这一个模型因为是生成式的架构所以它可以融合到了一起

您说的这个蛮有意思的本来我是想放在后面就是关于底层这块我们再聊但既然反正聊到这个问题了我觉得关于这一点可以再稍微深入一点因为站在一个小白的角度或者说是一个普通人的角度会觉得这一轮深深是 AI 跟之前最大的区别就是它好像变成万能型的了就是我问他什么他都能给我一个快速的回复我打开一个对话框那国内可能是豆包或者是 Kimi

那海外是去 HGPT 就是我有任何问题都可以扔给他但是就像您说的如果用多了的人就会发现第一他还是会有一些幻觉当然现在的幻觉比原来要好很多第二就是他能完成的内容就是你没有办法百分之百的依赖他你经常会发现里面有一些莫名其妙的一些问题在里面你如果问他一个日常的问题可能还可以但就是越是简单的问题甚至是比如说

下一个星期日是几号类似这样的一个问题经常都会出现一个问题所以您刚才说的这个场景化和这种通用化它到底背后底层的原因会出现就是在一些专业问题上反而表现得很好但是在一些很通用的在人类看来是特别基础的常识类的问题反而会出错它的底层的原因是什么底层

底层的原因其实就是训练数据没有往里面放比如说我们现在做了一个实验就是我们前面大概一年的时间都在研究一句话就 GPT-4 发布的时候就是 23 年 5 月份 GPT-4 发布它有个 technical report 它里面有一句话就是说我在模型训练之前我就能知道我的

某一个评测集合它的准确率能达到多高所以我们觉得其实 OpenAI 不仅仅是盲目炼丹它其实知道了一些底层的理论就是我能够不在模型训练之前因为 GPT-4 大家通常认为是个 1.75 万亿的模型那是一个训练一次的成本是非常高的你可能大几千万美金就如果完全正确的情况下所以它肯定不会盲目的一次次的做实验这个资金成本跟计算资源都支撑不住

所以他一定有一些基础的公式来指导他我想把这个能力提到 90 分我应该在预训练阶段放什么数据我在有监督微调阶段和强化学习阶段我应该怎么做他一定会有一个基础的这样一个理论在所以他里面有专门写了一句话然后我们研究这个事情干了一年多了现在我们也基本上可以得到那个公式在某些情况下那比如说我想让他去答题首先这个模型有没有记住这样的一个事情比如说复旦大学有几个校区

这个模型到底有没有学到这个知识点你需要一种方式把它判定出来然后如果这个模型我们判定它技术的这个知识让这个模型能够回答之类的问题您猜我们就要多少条训练数据这个模型就具备了这个能力几万条再猜

幾十萬幾百萬 60 條 60 條就可以了而且如果比如說我們準備了訓練數據是這個模型沒有記住的它原來這個模型通過預訓練它沒有把這個知識點記住可能因為這個知識點出現的次數太少了它沒有記住這個時候你在有監督微調這個階段你放大量的訓練數據你如果放 2000 條訓練數據它有可能會從 60 分降到 20 分就會把這個模型整體全部搞亂

所以其实这个模型它的知识来源就来源于预训练就是你的所有的知识点全部是靠预训练数据来记住的但是它有一些特定的规范不是说你给它一条就能记得住它有一定的要求比如它本身的出现次数要达到一定的数量第二个是说它有一定的特异性比如说中国第九场合中国第一场合这个第九和第一它之间就经常一起出现

這個時候模型就很難區分但是第一長河出現的次數是遠遠高於第九長河的所以如果這個時候我們去問一個模型不是讓他走 AI search 僅僅是模型自己本身你會發現可能 700 億的模型也答不了第九長河是誰甚至我們說現在的 6000 億的 DeepSeek V3 基本上我覺得也很難達到我沒測但我估計從我們的計算上來看基本上是答不對的因為它根本記不住

的特异性不够高所以这个模型它能够记住的知识其实来源于前面而且这个模型的训练数据其实决定了它能记住什么知识

这仅仅是知识这个地方还有别的任务比如说 Strawberry 有几个 R 它为什么数不对就是因为这是一个数字的一个场景这个场景我就需要专门搞几十条训练数据放在这这个场景太多了如果按这个切下去的话我可能有几百万个场景每个场景我都需要特定的准备数据这个事情我觉得是可以做的但是问题是说你这样去做下去它是个无底的

每个人都有自己不同的需求那我可能是说让你数几个大写的 R 呢你如果没有准备这个训练数据你只能数小写的然后大写的你就数不对那我可能再去给你稍微变形一下呢任务这种类是无穷无尽的这个其实就有点像自动驾驶后来为什么到 L4 L5

大家觉得会有问题就在于你在实际的驾驶中会出现的场景也是无穷无尽的而且那个可能会还涉及到生命安全对吧车辆的安全所以大家就会觉得但是这样的话我听下来因为我理解当然可能我理解太浅薄了就是深层式 AI 跟之前的最大的区别

不是说是你在已有的这种训练里面去找答案而是它所谓的生成但如果你还是要用预训练的东西才能去得出一个答案的话那跟这一波浪潮之前的 AI 岂不是还可以

还是挺像的因为我最早聊到最早做自然语言处理它就是要打标签对吧你要往里喂出去那不还是这样吗那跟之前的区别是什么我觉得基本的原理上面就是从它出来我们发了 Mouse 之后我们就开始做各种尝试然后做真正的落地所以我们其实一直都在思考它到底是什么然后我觉得 24 年我们把这件事情

想的就是我自己的感知是应该从我们的角度上来看它和过去的模型最底层的逻辑是没有变的没有变对 但它变了什么呢第一个就是长文本就原来我们做就是您在之前做自然语言处理那一波我不知道是 18 年之前还是 18 年之后 18 年之后 18 年之后就有 Bolt 了但是你能处理的单词数只有 512 个 Token 那又意味着大概就是六七百个汉字

你不能再长了所以你限制在这个长度下你会发现像你刚才说的这个历史我就看不到那这个单词在这个位置到底是人名地名我不确定因为他要看更长的历史才能知道这个位置所以这是一个长度限制然后第二个限制是什么呢语言的限制

就是之前一个 boot 一个小模型只能处理一种语言你不能去切换然后呢第三个是任务的限制比如说我这一个模型我只能上来识别人名地名机构名就完了如果你想让他再去识别一个新东西他不行

你就要再搞一个模型对那这个小模型小模型一个一个的小模型然后第四个是不能生成你只能是抽取这里面有一个东西我抽出来然后这时候就非常限制表达就是我的很多的关系就是两个实体我可以抽出来实体的种类还是受限的就人民地民机构名这种实体类型就这么多我觉得是一个封闭集合但是关系呢两个实体之间的关系呢那就无穷无尽了

所以关系这边你就不好抽不好抽它就表达不出您要的那个语义就把这个非结构化转成结构化就很难然后所以这是过去我觉得其实大模型就四个能力就完整可以确认的就是长文本

然后跨语言多任务和生成那为什么多任务很有意义呢就像刚才我们看我们让这个模型既能够做翻译又能够去抽取里面的实体原来我们需要很多个模型现在我们只需要一个因为它把它都转化成了生成实任务就原来我们要做 board 必须要打标签就 A 这个位置它是一个实体的开头但现在不是了我直接用自然语言告诉你就地址冒号一个名字

请帮我把下文当中的人名都找出来他就会给你人名冒号然后什么什么就是所有的自然语言处理的任务都可以转换成一个语言的表达了那我其实就把所有的任务就都融合成了一个生成式的框架里面但是并不意味着说你不需要训练数据了也就是说你让他数 Strelberry 里面有几个 R 那大写小写长短短的你都得给他就这个底层逻辑没有变没有变

这个没有变其实就使得是说就是 AGI 用这套框架我觉得就遥不可及对就是我们等一下可能会聊到一些 OpenAI 的这些科学家或者什么他们也就

就意识到这样的问题了就这个框架它是有一个极限在那里的但是对于公众对于我们来说就会感觉因为具有了您刚才说的这几个多任务然后生成式的这种感觉所以它整个表达会变得非常的自然它似乎比原来像傻子一样的那些所谓的 A 人就聪明了很多但是它的底层逻辑因为还是要为语料还是要预训练所以导致它如果发现自己没有被训练的时候它可能会出现一些胡说八道就是乱说

对他其实预训练这个阶段还好但是就是预训练阶段只让他见过大量的数据然后做了很好的知识记忆做了很好的表示学习他其实最麻烦的是后面的后训练原来大家设想说我这个模型足够大我从一千亿涨到一万亿升涨到十万亿然后我给他为无穷的数据他有所谓的涌现就是我这个能力没交给你你自己就会了对对对但其实并不是就是说

你其实如果我们再回头因为我们自己做了很多预训练就这个能力我在有监督微调阶段没给你他为什么就会答了呢其实我们可以反过去看预训练数据你会发现其实他的能力来源全部来源于预训练数据

还是在里面然后所谓的涌现也仅仅是预训练数据里面在一些情况下让他去反映出来了但是这个的准确率有的情况下只有 10 有的任务好一点 60%所以他就达不到一个可用程度如果你想让这个任务做得很准确

那你就一定要在后训练阶段放训练数据这个训练数据是有监督的而且是需要你精挑细选的就像刚才跟您说的这个 60 条训练数据就能做到很高它并不是随便挑的首先第一个是你得先探测这个模型记住了哪些知识点然后第二个就是你针对它记住的知识点再来构造这 60 条训练数据就是不是说你找专家把这个

写出来就好了其实专家写的都是高质量的但是如果专家的写的那些知识点我这个模型都没有记忆柱那对不起你这些数据进去我模型就崩溃了所以他要跟模型紧密匹配的来构造一个这个那这个其实就是模型的训练方法的不同然后这个东西就需要花很多的钱很长的时间来摸索这个事情我们干了一年多然后也仅仅是在问答这一件事情上相对比较准确的给出来了这样一个结论那还有很多任务呢

你翻译怎么做的然后你的新一抽取怎么做的这些都是需要单个挨个这样去摸索所以这个时候我们看其实后面的这些事情就有非常非常长的漫漫长路但是我觉得这期节目一开始先定了一个相对比较也不说悲观吧但是就是说这一轮的深圳 AI 肯定不是一个最终答案我理解它是一个阶段性的东西它比起之前的小模型或者之前的这种 AI 的阶段肯定是往前走了一步

但因为它的底层逻辑没有变所以它是有极限在那里的而且极限可能现在都已经能够看到了对吧是的

我觉得很多人看到了所以对他的做法上就明显能够感知到不同对 所以我看一些媒体报道像 OpenAI 的联合创始人前首席科学家 Illia 他不就在去年底应该是在一个机器学习的顶级会议上说技术迭代正在放缓然后我们原来预计的 Chad GPT-5 就一直就没有推出来

他们反而走向了不同的路风什么的他们其实在尝试不同的路径在走这件事情

但说回到我们最早在聊现在用的应用但反过来就像我们引出这个话题的那个源是您说现在的 AI 其实更适合用于场景这个事我是在最近听一期节目有一个更深的感受就是在有一档中文播客叫做硅谷 101 他其实采访了好几个在美国上大学跟读博士包括做科研的一些华人

在问你们现在在用什么样的 AI 那期节目的标题叫做没有 AI 我会难受到要死就是 AI 现在应用的这个普及率特别是我觉得在学生因为他们更像是 native AI 的一代就跟我们可能用互联网是比较 native 的一代一样然后 90 后可能用移动互联网那现在的 00 后就变成了 AI 他们用

用的 AI 的工具眼花缭乱然后给我的一个感觉就是他们是在把他们像拼积木一样拼起来就是我有一个什么样的需求我会用一个特定的 AI 工具比如他里面有说这个叫 GBT-0 是用来检测 AI 内容看他到底文本是由人类还是 AI 生成他有一个比较好的辨别能力然后有一个叫 Grammarly 是专门做在线语法和写作的辅助工具

语法纠错因为像我们这些不是 AI native 的这一代的话我的习惯是我所有东西都是问 GPT 我希望他给我所有的答案我有什么任务都给他但是好像我感觉这样做其实是不对的

你更合适或者说如果你想把你的任务用得更好不是我们原来说的你要学会怎么写 prompt 只要你学会怎么写 prompt 了它就能很好的帮助你反过来是我们可以利用一些在锤类的这种 AI 工序它在某一个场景已经打磨得很好了然后你用它来做框架你用它来改一下语法然后你用它来做个什么把它拼凑起来

能更好的辅助你现在的工作这就是场景化刚才我们说到这个话题就是因为 Cursor 它其实写代码然后它对这个部分单纯做优化而它不仅仅是 Prompt 的优化其实 Prompt Engineer 其实你感觉 24 年是不是没人提这件事情了真的就因为其实没有意义

就是 Premt23 年大家觉得好像我优化一下很好其实就是因为你不知道人怎么训练的我训练的时候用了 ABCD 开头就让他做新一抽取那模型就按照我的要求我再说 ABCD 的时候他就开始给我做命名实体抽取只是说我们训练的时候尽可能的满足大众所以打 UWORST 放进去但如果你就是非不按我那个要求写那你结果就差嘛

所以其实和 Premt 没有关系你像 Cursor 它要单独针对代码的需求进行定制化的训练然后像你说 Grammarly 它就是改错然后它为什么能做得比 GPT 好它做了这么多年的改错

它有了大量的训练数据然后它按照现有的这个方式不管是在预训练阶段怎么做一些工作还是在后训练阶段做一些什么工作让它仅仅是针对这一个任务它可以做得很好那比如说 AI Search 你用拆 GPT 做 AI Search

他给你找出来的答案肯定没有你用 PPL 这个东西来做 Perplexity 来做要好或者你国内的这些部分那他其实就根据这个场景单纯训练来去完成但其实你觉得 Perplexity 可能还不能做 Deep Search 我可能不能满足我日常代替 Google 这个可能性那是不是还有一个场景有一个人专门做这样一件事情那他可以做得更深入的一些部分所以其实这种场景化那对于我个人来说可能我查论文

我可能会用 Google 就是如果深入型的查找那如果简单型的查找我可能就是和 Backcity 去找如果我去改错语法型的写作我可能会用 GBT 帮我先生成个初稿然后去改一改那你确实离不开因为原来你写一个论文

他的语言改错我们其实是找美国的编辑帮我们改要花钱的大概一篇论文改下来可能三四百美金你现在肯定是拿 Chad GPT 给你改一遍然后你还要反向修改意思就是说他用了很多优美的词汇你要把它改成那种简单词汇因为这种词汇特别是对于这种形容词副词中国人的理解没有那么深刻所以你要把它改成简单词就是我刚刚说的否则看起来太像 AI 写的了

对太像 AI 写的而且他用的那个形容词表达形式你不一定确切的知道 OK 所以要把它改成中国人习惯的那种简单的所以这种部分你写论文的速度我觉得比原来提高了非常多就可能减少 50%的时间然后我最近那本大模型的书在写第二版嗯那我觉得 60%的工作量都被省掉了因为你只要把你的思想表达好你把这个段落组织起来核心内容组织好然后他会给你从属语言嗯

然后这个语言重组完了之后你再去把它去放进去因为不是每段话里面全都是干货它一定要有一个上下文的承接关系要有一点这个肉在里面那这个肉其实就是一个可以让 AI 来做的事情你把核心观点股价搞好那这个时候原来可能 60%的时间甚至更多的时间都是在搞这个肉

你要想上下文怎么串接这事太难了尤其是对于我们这种理工科的人写这种东西你让我写论文骨架型的很容易写你让我去把它变成一个书然后要丰满起来太困难那现在用 GBT 生成然后你再去通读再去把它按照你的这种表达形式再稍微做一些更改那就能省大量的时间所以你没有 AI 不可能了

是的其实张老师你因为是做学术研究你就会说到其实你用它都是做学术这方面的这种丰满就像我最早讲的我把它用在写日文邮件其实它也是一种丰满因为它那些东西您现在这样讲了我就明白了它其实预训练或者位入了足够多的语料之后比如说它对日文邮件这个他就知道这个场景应该是怎么写用什么样的敬语它只不过在根据你的需求然后把它给生成出来

用这样的一个东西您这么说我确实现在想就是我真正在日常会用到的这种 AI 的工具都是非常垂累的除了 Gypt 之外我会用一个

一个叫做陈静生翻译的一个插件我今年给很多很多的朋友推过就他在翻译这件事情上做到炉火纯青他当他背后会再去接入 OpenAI 接入 DPL 然后你现在可以付费去把 DeepSync 的 API 放进去我最近在尝试确实它的效果

会比原来 DPL 的还要好虽然号称 DPL 是比较好的做翻译的模型这个插件它的好处就是比如说你看一个网页它会一段英文或者一段别的语言的文字一段中文就给你直接把网页对照把它这样拼起来

或者 PTF 的时候也是给你左右变成左边是原文右边是翻译文章用起来就非常方便我看起来就会特别的简单你不是单纯的把一个网页全给我翻译成中文这样的话我如果想看一眼原文是什么样子就看不到了然后整个生成的速度也很快使用感也很好我就愿意它的订阅制因为现在海外我觉得订阅制这个事情确实帮助很多的 AI 的这种垂直的工具

很好的在可能 Day1 就可以得到比较好的一个盈亏平衡一个月 69 块人民币其实说便宜真的不便宜不便宜了

但是就像您刚刚说的用了就离不开了我是能看懂英文没问题但是我如果让他把它翻译成中文我再来看那速度是原来的 5 倍 10 倍如果中间我发现有一些细节我可能再去看一眼原文对吧但是大量的时间就被节省掉了当然这可能会带来一些负面的影响我会非常的忧虑我的英文能力会退化包括我不知道您现在有没有忧虑我现在会有一些忧虑就是我的写作能力可能会退化肯定会退化对吧

就是日文我到现在你让我真的从零开始写一个日文的邮件我会发现我不知道该怎么抬笔因为都是 AI 帮我把这个框架都生成好是的就这个当然是另外一个话题啊

然后另外一个我会用的因为我做播客那播客我会用一个海外的数量公司它甚至是一个格鲁吉亚还是哪一个很小的国家的一个创业者做的他就是做播客的后期处理这一件事情把声音还原到类似像我们现在录的这个录音棚的这种声音然后是非常简单的一键就是你把那个音频导进去然后一键他就把里面的一些毛刺啊然后把一些这种声音上的不平衡啊白噪音底层噪音啊全都给你去掉

非常方便对然后我为他一个月要付十几美元嗯嗯就是

类似这样的一个非常垂累的场景好像我感觉现在 AI 确实做的是非常非常好的其实 AI 就应该这样子因为现在的不管是大模型因为大模型其实还是基于深度学习深度学习本质上也是统计记忆学习统计记忆学习的核心逻辑就是针对一个场景你给我足够多的数据然后我来拟合我学一个相关性然后它就可以把这些

你数据量越大就可以学得越好只是说现在大模型训练逻辑上有一些变化但是你的预训练数据还是非常大那它的核心逻辑并没有变那我在一个场景下我其实可以打造得非常好或者说就是这一轮的 AI 浪潮就应该这个样子我们以后可能还会有新的就总有一天应该我觉得会诞生出

更加通用化或者说它的底层的这个逻辑会变吗还是您觉得这个东西其实就我觉得这个事情您说会不会变我觉得一定会变但是是多少年呢 10 年 20 年 50 年还是 100 年因为

他是需要一个类似于爱因斯坦这样的人他把底层的机器学习从统计机器学习这个架构转换成一个新的架构这个事情其实非常难主要的原因是没有数学工具的支撑就是统计机器学习您可以简单这么理解就是我们把所有的不管什么东西都

表示成空间当中的一个点就像我们在一个平面上然后属于 A 类的是圆圈属于 B 类的是叉号统计机器学习干什么呢就是学一条分界线把这个圆圈跟叉号让它分隔开这就是统计机器学习的基本原理所以如果你的训练数据足够量大那我就能学出来一个很好的分界面把你两个都分开了然后我见到任何一个东西都可以这样去走

就可以判断你是属于 A 类还是 B 类这就是基本原理但这个基本原理里面有一个最大的问题就是它学不到因果性比如我们最简单在 Data Mining 里面经常举的一个例子就是晚上美国的小超市这个尿布的销量跟啤酒的销量呈现正相关性然后我们把啤酒如果往尿布那边放一放

它会销量更好这个是沃尔玛或者任何小潮时期都在做的这样 Data Mining 的工作大数据分析的工作但是你给它再大的数据你把美国几十年几百年把中国日本的数据都给它

他也得不到为什么其实这个背后的为什么是因为美国晚上去买尿布他一定是应急使用然后肯定是男生去然后男生去买尿布的时候旁边有个啤酒顺手拎一打就是一个非常自然的动作那他当然会得到一个正相关的销售但是这件事情你靠数据驱动我觉得是永远学不出来的

那他一定要回归到一个因果其实我们人这个能力的提升其实我们是建立了一个又一个的因果联系最后串在一起得到了所以我们的逻辑上你要有归纳能力

你要有使用归纳好的这个部分来做推理的能力那这个部分如果模型建立不起来那我觉得他就没有办法像人一样按照能力进行提升他就是一个小场景一个小场景这样去做所以您说他会不会实现我觉得可能会实现但是我觉得这个时间点会非常非常的遥远因为他没有一个底层的数学的工具支撑了因为因果这件事情在数学上都没有

我们现在的统计机器学习所依赖的都是概率学相当于我们不能指望 AI 行业自己把这个东西给改革了或者颠覆了我们需要自然科学需要数学进一步的发展才有可能或者是互相影响也许搞 AI 的人他原来数学背景很好他发明了一套新的数学理论新的数学框架

然后能够支撑现在在学界或者是您看到在业界有这方面的尝试或者是努力吗我觉得可能有尝试我也没有看到因为这种事情它真的是零到一而且它不是一年两年三年它是一个没有

期限的没有目标的也许灵光一现明天就出现了也许搞了几十年一辈子都没有任何的产出他就有就有没有就没有没有就没有就像 Hinton 如果在没有就是 ImageNet 之前他前面的 20 年非常悲惨就连他创建的会议都不收他的稿件了就是我们现在最好的机器学习会议 NIPS 这个名字前面是 Neuro 就是神经网络相关的会议他有很多年他的论文是被拒稿的

他在做神经网络因为从 19 九几年开始神经网络消退然后一直到 03 年左右这个期间没有人相信神经网络能做什么事情只有他在坚持然后就是没有资金支持没有国家的大钱的资金的支持只有学校里那点小的资源然后就这样干然后他就赶上了几个优势第一个是 ImageNet 就李飞飞搞了一个大的标注集合第二个是 GPU 的支持

GPU 虽然没有 CUDA 这样的部分但是有一些通用化的编程的这样的一个结果出来了有 CUDA 出来可以来做一些通用编程就没有 PyTouch 这样非常好的框架但是至少有 CUDA 那我定向性的开发一些部分有具备了加速的可能性那在 ImageNet 在图像上大家看到了它的效果非常好然后才一路起来

那你像 Hunton 这样的在现在这个时刻可能我觉得除非极其牛的投资人还能在 90 年看到 Hunton03 年能够发展我觉得这个很难很难非常难因为做这样事情的人本来就非常少然后他能不能做成也是一个巨大的风险对那说回到我们在过去这一年看到的变化至少从 2023 年 CHPT 出现

出现到去年在应用这个领域感觉百花齐放或者大家都非常的兴奋还有很多很多的事情可以做我们且不去看遥远的那个极限的那个地方的话那在您看来除了我们刚才聊了 AI 编程对吧聊了跟辅助的一些工具相关的事情还有没有什么让你觉得很兴奋或者说原来这个东西现在可以做到这个地步了的一些应用或者是服务呢

我觉得有几个第一个其实是视频的生成从最早的 sora 对最早的 sora 就是在 24 年年初嘛反正过年也不来我们好好过

然后对我觉得其实就是视频的生成的不论是时长还是质量包括图像我觉得其实去年我觉得还是一个非常大的这样一个进步因为这个呢也是你从原理上来看它可能并不复杂但是它的训练数据量级是非常大的

然后在没有拆 GPT 的这种突破之前我觉得大家应该没有人敢去投这么大的资源就几个亿十几个亿的这样的一个成本然后来训练这种模型然后大家看到了在文本上面取得这样大的成功之后我觉得大家愿意投这种资源

当然在方法层面和训练层面也是有很多艰苦的工作要去做的但是你能看到它的效果确实提升了非常多对 而且到年底的时候大家好像已经觉得 Sora 那个也不过如此对吧就是包括中国自己也诞生了一些非常好的就这一年在 AI 图像生成这块确实感觉是翻天覆地的一个变化对 它还是很惊艳的这样的一种长进这个变化

之所以在中国会有这样的突破是不是还是因为中国现在就是预训练相当于它的这个数据库足够的大了因为我们看到很多是有抖音和快手他们诞生的这种产品那它背后是有大量的这个支持的对我觉得第一个是说大家对预训练大量的训练数据能够产生好的结果这件事情在很多领域上是不需要质疑的它一定会有信念那在图像生存上更是这样子

我都见过了然后你给我一个图片去往后推理它的训练模式非常明确因为我有图像我有这个视频一帧一帧的那我给了你前一帧你给我推后一帧只是说我需要花一些时间对这个图像和这个视频进行一些文字性的标注因为你要有 prompt 进入嘛所以它需要一些资源然后第二个是在训练方法上就是经过了从 20 年开始然后到了 23 年相对稳定其实模型的训练框架大家已经都掌握了

然后你也有了足够多的卡其实我觉得对于这种能够看得到的情况对中国人来说这是最快的只要你有 Demo 前面的路径都是通的所以搞工程肯定是搞不过我们堆资源搞工程对有目标之后堆资源搞工程这绝对是中国人的最强项

可以非常快速的来超越甚至还有很多图像的 reg 放进去是吧然后包括现在豆包生成的解决文字的情况因为如果你直接让模型生成它文字都基本上会出错对都是乱码都是乱码现在我们其实可以靠 reg

我字的生成其实可以跟图的生成分开我可以先生成一个字的样式然后再去给他再去走但是他没有公开我猜测是这个逻辑如果解决字的生成然后你看百度做的人的就是做一个人你说一个 prompt 然后一个人名然后让他产生个图片之前那个人他就经常出错现在他其实也是靠 reg 我先找到一个人脸的照片作为一个 reference 然后再生成

那这个当然效果就好很多所以像这种级别的创新其实在国内比较容易所以你看到的这个效果上就会比其实 SORA 并没有在这个 12 天的发布里面没有引起什么浪潮因为它效果确实也就那个样子你想再去大幅度提升然后去理解物理世界那可能就另外的话题了

但是在这个层面上我觉得是做得很不错的然后国内国外其实还是很惊艳对然后第二个其实我觉得是 01 03 的这种范式就这种范式的改变看上去可能不大它怎么实现的我们可能不知道但是我觉得有几条路径第一个就是我在推理的时候我可能有一个模型在旁边监控它

然后他输出了错误的结果我就让他去更改你从表面上是有这么一个反思的一个过程第二个就是我在推理的时候可能会有多个路径这个改变看上去不是很大但它其实对推理这件事情来说是一个翻天覆地的变化因为我们来看在 GBT4OGBT4 这样的一些部分上它所有的推理都是一次性做对但是这个难度其实很大的

就咱们自己做数学题也是这样子你不可能一次性的全都做对你一定是这里做错了然后回去再走这个时候其实你把这样的一个反思的路径加上去其实就可以使得这样的一个推理的过程就会有了更大的容错的机会所以它就可以使得我们的推理有一个大幅度提升

我们自己也做了一些相关的这种实验就是我们 Math 上面数学题上面你加不加其实可能都会有 20%的一个提升量级是很大的

所以这个范式的训练就这个东西的推出我觉得是 OpenAI 的一个非常大的一个贡献别人至少没有从 0 到 1 给出来这样一个部分其实这种简单这一个点我觉得也是花了好多钱各种尝试甚至我觉得这还是伊利亚的遗产就是 Vic to Strong 的那套想法在环境交互下去走我觉得还是沿着他的道路去走的

Idea 肯定相信 AGI 还是想去做 AGI 这个逻辑的但是 O1 这个部分我觉得在学术界和在 E&O 特别在推理这条路径上我觉得非常关键您说就是强化学习实现方法无所谓只是说这种范式它不是要求模型一次性成功了而是我可以在中间去改但也有 agent 的思想在

对就是 agent 你当然可以有外部的工具调用然后 memory 等等但是这个东西本身其实就带了反思那反思其实就是原有的大模型不具备的方式那它就是一种 agent 自己 plan 的这样的一个过程所以我觉得这个思想对未来影响会很大

很多工具都会从这个角度上来进行更改然后它未来把很多的之前我们一次性就能做对但是你只能做到七八十分的东西可能都会给你推到 90 分甚至更高有一点就像最早聊的加入了人类能力提升时候需要的一个阶段就是反思反思对有一点人的样子在里面就比如说咱们现在做 reg 做知识问答看上去很简单但是一般只能做到一个七八十分

这里面其实有很多个点比如你搜索词可能就不对那加入反思之后就不一样了那原来对上模型一次性把这个搜索词给出来它如果不对呢咱们人用搜索引擎也是这样子我先输了一个 query 你发现可能不对这个表达后面某一页看到了另外一个相关的词语那我就改我的搜索词嗯

所以这个过程其实就是一个反思的过程这个反思的过程如果引入 RAG 系统那马上就会使得 RAG 结果又会大幅度提升所以这个的引入我觉得在很多很多地方整个这样的一个部分都会有大的这种改变但是怎么训练等等当然还都在探讨各种部分都在复现然后我们也写了一篇综述搞它的路径然后也再去做一些实际的工作去完成相当于 OpenAI 把这个东西发出来了但它其实没有把底层的逻辑告诉大家那当然它现在是 CloseAI 嘛

已经变成 close AI 了对啊这么核心的东西他是不会说的因为这个我觉得他一直做了非常非常多的工作各种尝试我觉得这个零到一其实人工智能很难就是因为您看这么简单的一点我觉得他可能两三个亿美金打不住因为他试了各种条道路然后真正试成了然后你炒起来又很快因为他只要给了你长相那你反推起来就容易多了而且你也敢试反向工程

又是中国人是比较擅长的东西所以很麻烦就是这东西给出来之后你的技术的领先性可能就是半年也许快一点慢一点三个月你看它退出来 O1 O3 之后国内多少家都在退出效果上我们不谈但是反正各种路径应该也就是在这个范围之内也跑不了所以我觉得其实这个 O1 O3 是一个大的这样的一个部分虽然我们看好像本来以为会有 JPGP5 或者什么的

没有往那个方向发展但他本身的推出的这两个东西证明了一些不同范式的存在是的

我觉得其实是证明了什么呢就是 OpenAI 并不是一味的坚持 Scalding Law 就是 GPT-5 我当时 GPT-4 发完我们对它的预估和预测就是把所有的模态都放进去把理解和生成都放进去所以基本上现在拿到的信息来看 GPT-5 确实在走这条路那 COO 就是把音频引进来了但是没有把生成引进去所以我们当时推测就是 GPT-5

就是把所有的模态输出混合成一个但是这个东西的训练真的太难了你看 Sora 自己本身训练都很难然后如果把生成都合在一起其实是非常非常困难所以我觉得这是他在 skilling 上要走的一条道路然后一直在坚持应该是在训或者之前已经尝试过非常多次但效果并不是很好但是你会看到说他并不是盲从这个 skilling law 然后他是在去探测不同的步骤

然后微软 12 月底发了一篇论文然后他公开了就是说 GPT-4 的参数量等等那个报道我不知道您是不是有关注到还没有对那个里面其实就能够看到比如说 GPT-4 是 1.75 万亿然后 GPT-01preview 可能就是 3000 亿然后 GPT-4 的 mini 只有 80 亿

我觉得它的值是大概率可信因为微软跟微软还是有紧密联系的然后我觉得这个数据应该就是被这篇论文的实习生没有经过严格审核放出来了所以您可以看到就是说就他在完成不同的场景和任务的时候他在测试各种各条道路他在不停的推进这件事情所以他的目标其实是明确的

他完成很多工作他要解决的难题也是明确的但他并不是说我就上一万亿模型上两万亿模型不行咱们上十万亿模型其实并不是我觉得他们一定看到了有一些基础的公式他们一定看到了一些这个

这个 limitation 然后他也在不停的各种路径上面去探索所以我觉得他们的技术功底和这种深厚度还是非常强的关于 2024 其实还有一点想跟张老师探讨的就是国内的这个公司里面有一个我不知道您关注没有就是这个 DeepSeek

因为它诞生于我们这个行业就是说金融行业的换方因为换方也是我其实很早就跟他们有一些交流包括在他投资领域他们其实做得非常的好变化领域但是没有人想到他会突然在 24 年杀出来在这样一个领域当然有一些他底层的逻辑在因为我先看到一些报道就是说 DeepSick 最出众的地方就是他用比较小的这种训练量对吧用

中国人能够接受的一个规模里面做出了相对比较惊艳的结果但是呢它在包括底层范式或者在很多上面并没有特别多的突破事实上是这样的吗

事实上是这样我觉得第一个就是现在这种 MOE 架构你看到的是一个 6000 多亿的模型非常大然后更惊艳的是说他用了 500 万美元然后来完成这一轮的训练主要是因为之前的别人来做这种大规模的这种模型其实没有 MOE 架构的情况下他的训练速度是很慢的

然后他 6000 亿的模型他用了 256 个 expert 所以他其实每次激活只激活 300 亿模型那所以他的训练成本就基本上等同于一个 300 亿模型的训练成本或者再高一倍比 300 亿模型再高一倍因为他占用显存还是比较高的然后第二个是从人员配置上来看他们有很多是阿里的团队过去在阿里工作过

所以阿里的特色是会把工程做到极致所以他在训练上面一定会有极致型的一些办法来降低比如说开源的 PyTorch 每秒钟可能只能跑 10 个 token 但是在他们这边可以给你优化到 50 甚至 100

那这个时候他的训练成本会更进一步的降低所以我觉得这个是没有问题的就是你追求极致化的工程极致化这个部分然后去搞一个比较好的 MOE 的这种架构然后来得到一个结果但是预训练只是万里长征第一步然后后面的后训练是非常非常困难的而且预训练呢是有开源的也有从 20 年开始的 GP3 也有训练数据

比如说可能 90%的东西你都是知道的不知道的可能就是那个模型的退火的过程啊等等这些配比但是

但是基本上大家也都摸得差不多了七七八八的但是后训练是完全没有论文比如说 OpenAI 自己没有公开那这个时候怎么搞其实后面我觉得也是漫漫长路就像刚才说的这个 CB KOA 就是问答这个任务只需要 60 条训练数据你有几百个任务呢每个任务都这么摸下去你得花多少钱多长时间你才能把每个任务都摸清楚这是很困难而且任务很难穷尽对你即便是我只做

高品的人物就是几百个这么搞下去也很恐怖的需要的时间成本量的成本我觉得也是可能饭市场还会发生一些迭代和变化每一步都是需要大量探测在这个层面上来说并不是说我们能力上的不行我觉得是时间上

跟成本上就我们可能知道 GBG4 欧的不是他后面的后训练阶段在强化学习我们看 Lama 这篇论文这是公开报道我们不听小道消息我们只看公开的公开报道 Lama3 在后面的强化学习阶段是标注了 400 万条训练数据但还这仅仅是开源版本那我相信 OpenAI 可能会更多这 400 万条标注数据看上去量很小

但是 400 万条标注数据是每条标注要花一个小时也就是说他花了 400 万小时的成本 400 万小时而且这个标注他不是说随便找个人懂语言就可以了嗯比如说是儿科的问题模型给了一个答案你得找儿科医生对他进行判定然后如果是个小学生的作文题目你就得找小学语文老师来改缀那这个成本就直线增长了对

就是你可以认为大概在国内可能一条就是 100 到 200 块人民币那 400 万条数据就拔个亿干进去了而且这些标注还不能复用就是我这个模型它是模型输出了两个答案如果我把预训链改了有间读微条改了到强化学习之后模型输出的结果就不对了又变了变了之后你还得再去标注这成本是多大那国内有多少的模型公司六小龙公司能出得起

十几个亿在一个模型的一个阶段的迭代来完成我觉得这是个非常恐怖的数字而如果你达不到这样的一个标注达不到这样的一个质量你模型的架构再一致再好也没有用因为它根本没有建过

然后别人是这么多年从 20 年 GPT-3 开始然后发展到这个 GPT-4 其实他 GPT-4 的架构 21 年可能就已经 22 年就给出来了那你中间这段过程的摸索然后其实如果我们再去翻看 OpenAI 的历史他在 GPT-2 完成之后做 GPT-3 的时候就已经引入了刚才说的这种强化学习

然后甚至他都已经养活了一个小龙 Skill 这个公司就做标注他当时给他的要求是每周要标 100 万条数据

就我的模型输出了两个结果你找人给我标 A 好还是 B 好然后延迟不能超过 30 分钟每小时要达到 5000 条吞吐量然后一周 100 万条标注多大的恐怖的量级那这是多少钱砸进去才学到了这些经验但是你复现它的时候你什么错都不犯你的成本可能都已经是二三十亿了

那这个成本上我觉得在国内可能很难承担但是你不投到这个情况你的生存的能力如果别人是 100 分的话那我们很容易做到 80 那提到 90 都很难那 90 再去覆盖到 100 那个钱就是乘以 2 乘以 2 乘以 2 上去指数就往上涨非常恐怖所以这个时候你 80 分花了 1000 万了你要不要花 10 个亿去追那 100 分呢

所以这个时候其实很难权衡我觉得这个难度上也非常大对这个正好可以过渡到我们下一段就聊关于商业关于公司这一块了因为听起来确实深圳市这个事情是一个非常烧钱的生意然后现在让老师您刚刚提到了国内有所谓的六小虎

然后之前是四小龙四小龙说 AI 视觉已经基本上掉对掉的七七八八了其实他们也是在某一个场景对吧在那个视觉安防这个场景深耕下去但是你发现那个东西很难附用到其他的场景里面去说到烧钱这个事现在在国内我听下来是不是只有像字节这样的公司烧得起您刚才说的这样子规模的一个钱去做这么是不是只有他们在做这样的事情我觉得从烧钱这个角度其实可能还有一个阿里好

还有个阿里对因为你看阿里在签文上面还是投了非常大的资源去做的就是开源版本上的发布我们也能看到不仅仅是国内其实国外签文的使用量也非常高因为这个预训练的成本还是非常大的即便是模型一次性训练可能就是一两千万美金这还是小钱你前面准备预训练数据呢

18 个 T 的 token 就意味着一个 PB 的接近一个 180T 的原始文本 180T 咱们普通的笔记本是一个 T 的存储 180 个笔记本的存储的文本文件纯文本不是 PDF 纯 text 文件 180 个 T

然后这 180T 的文件是从几个 PB 里的数据洗出来的你需要多少的工程师多少的算法研究员光洗这个数据然后你还要调模型架构也许没有准确数据没有公开报道你大概估计也是几万张卡在跑这个成本量级其实是非常贵的这样投下去只有这样体量的公司可能字节阿里才敢这么去烧

所以这个是一个非常非常耗钱的过程这还仅仅是预训练啊咱们说的后面的这个有监督训练的时候后训练阶段标这个数据然后研究它的过程那其实更花钱因为你可能真正标注可能就标 60 条但是我研究这哪 60 条数据我三个博士生干了一年多我们体量小这个也是几十张卡陪着你跑啊那仅仅是干这一件事情所以

在你看来这个六小虎或者说除了自家里这样的巨头之外的 AI 公司他们可能的

发展方向是什么呢我觉得挺难的因为第一个是融资已经融到这个规模了是因为你基本上都是 210 到 310 了嘛对就基本上都是这个逻辑了其实我本来觉得他们手里拿到的现金应该在 26 年可能才会有人不干了因为这个钱数比较高嘛但是李老师 01 现在就把预训练团队卖掉我觉得其实很好因为他手里他现在能够卖的东西最值钱的是什么是他手里这些人嗯

这所有预训练的团队和他前面这些经验你把它卖掉其实是值钱的可能再过两年这些人也不值钱了因为这个技术都散播出去了或者是大家觉得预训练也不重要了那现在这个时刻把它早点卖掉止损这挺好的留下来团队做 2B 或者做 2C 的产品

那其实我觉得 01 就已经选择了嗯就我就不再做预训练了那我就是做产品那至于做 2B 的产品还是做 2C 的产品那我觉得可能李老师就更有经验那这个方向上他不管 2B 2C 2G 之前各种公司都有布局然后

百川其实最早一上手就在说他要做医疗因为之前小川可能一直都有做医疗的这样的一个梦想从搜狗卖掉之后就一直开始做医疗相关的部分其实在搜狗里面也在做这种数字加一等等做得非常好但是医疗这个场景下就要去考虑怎么变现怎么能够支撑住一个 200 亿估值的公司这是一个大问题

现在的医院也比较没有钱整个医疗行业也比较对医疗行业也很多就是很多方向比如说你是 to 医院还是 to 病人还是 to 家属其实可能都不一样或者是 to 医生因为很多产品是给医生服务的就像美国有一个公司做这种口语的病例的书写因为美国人看病时间比较长他要三十分钟前前后后的问他这个病例都要输进去的

那他卖给医生大概卖一万又一万个医生用他一年营收有一千万美元然后他做私有化的这样一些部分那就是反正他有不同的方向那我选择什么方向呢我做一个产品给谁用呢那这个可能就是百川可能要去思考的这些问题但是估值在这里其实都不好做因为你现在融资是 200 亿那你 200 亿估值这一轮如果再进投资人他目标肯定希望你 1000 亿上市嘛

如果你是个 400 亿上市他觉得可能都要赔钱了那这个估值的情况下你做什么业务能支撑住 200 亿 300 亿的估值那 200 亿 300 亿的估值我不管你赔多少钱你一年给我拿 10 个亿的营收应该算是一个比较低的值了吧或者是说按照正常的算法可能你要拿 20 亿的营收

市销率 10 到 20 倍对其实对于这种所谓的新制生产力的公司是比较合适可以接受那你至少 10 个亿的营收那这个时候其实难度是很大的 10 个亿的营收我想在中国的上市公司里面也不多对比例也是很 top 的一个值了所以那怎么能够支撑住我觉得其实都是一个难题

所以反过来看像海外这种订阅制已经深入人心的这种商业模式可能还是更好的就是你如果从 2C 端的话真的每个月的会员或者是每年的会员大家愿意付这个钱就像我听我说那个贵物 101 的节目真的大家就是

平均每个人会订阅三到五个 AI 的这种工具对对吧然后每个月你一个人可能就付出几十美元三四十美元三四十美元的但如果你的基础量是一个几百万的人的话这个营收就上来是的但中国的这个订阅的习惯始终没有培养起来是的但是您看他们都不是做通用的公司是因为

因为做通用公司的话你的投入就在这放着就是 OpenAI 在拆 GPT 出来之前烧了 40 亿美金那我们把它前面犯错的成本全跑掉只做拆 GPT 那你算一算可能也需要花个 15 亿美金 10 亿美金这个量级可能你做到 GPT4 可能没有 10 亿美金很难烧出来和它一样的这样的一个部分这个钱就已经 70 亿人民币了

还不算后面的推广各个部分所以我觉得钱是一个很大的问题就一定要有很厚的这个资本量才能推着你往前去走说回来就是

我觉得这些巨头对于我们所谓的六小虎或者是这种公司来说是一个巨大的降维打击就有点像汽车行业当华为跟小米进来的时候原来所谓的新势力会变得非常的艰难因为你面对的是一个跟你不在一个维度上的竞争然后那些巨头他有一些别的业务可以去支撑他在这个上面去打这场仗那让你原来只能在这个赛道上挣钱的公司就变得局部为奸就有点这种感觉

那过去这段时间您有看到什么相对更加小而美或者是有自己的一些独到之处的 AI 方面的一些创业公司也好或者是海内外都可以有没有一些这种案例我觉得是这样就我前面也仔细思考了一下就是 AI 这个方向的创业跟他的公司的应用其实我觉得是两个方面就第一个是现有的公司

现有的公司我一直是觉得就是最近这些的报告演讲我其实都是有一个观点就是 25 年是对现有的公司可能是一个巨大的机会因为如果你的公司里面有一些业务可以非常好的使用 AI 并且能够带来一个体验感上的巨大提升的

这个时候就是一二三排序的这些公司老大老二老三重新抢市场份额的一个机会比如说我们说客服客服之前的可能中国对于 NA 客户就那么几家两三家大公司来进行服务然后他想迁移其实很难就是功能都差不多但是 AI 出来之后大模型出来之后特别是语音出来之后是完全不一样我可以外呼原来是非常机械的它现在是可以很自然的

然后接电话也可以很自然这个时候它是对客服领域的一个巨大提升并且我迁移成本很低我做了 A 公司迁到 B 公司其实我可以非常快速原来的迁移太累了基本上你给 A 公司做的 70%的工作量要重担再给 B 公司它其实就是项目根本就没办法做产品但是这次不一样大模型可以在客服上比较好的做产品可能只需要迁移 10%的工作量就可以迁过去

就方法上可以支撑到而且它在用户的使用体验感上非常好对啊现在我接到的很多这个信用卡的分期的就已经能够知道它是机器人打过来的但是非常非常像如果你不是做这个行业的可能不注意听听不出来对因为

过去一年在社交媒体上最火的比如说海外有很多把 treasurebt 调教成跟自己聊天的对象简直你听起来就是一个非常甜蜜的男朋友女朋友的声音对吧然后您刚说到外户我就想起现在这个领域先在游戏用上了就是现在有一些这种恋爱游戏会

让这个游戏里的角色可以打电话给你这个就是吸引了非常多的年轻人去利用这么个功能那现在确实虽然我接到这种一听就是机器人的电话我会立刻把它给挂掉但如果它能变得更加的自然让你听起来真的就是一个人在给你打电话很多时候你真的很难辨别咱就不说这个广告了那客服其实是很好的一个应用因为大家现在这个需求是非常大的对 所以就是从客服这个行业来说小公司是进不去的

因为它不仅仅是一个电话外呼这一个模型而已它有前前后后各种部分它有管理端然后转移端等等还有很多工程量所以小公司是不用想做客服这件事情的只有原来在客服领域的老大老二老三谁先能做到最好的体验那这个时刻就可以抢份额了原来你老二只有 40% 30%那现在如果老大没有做好那你在这一年的时间之内那就可能抢下来很多单子

那就占住了这个市场相当于一些传统的这种行业因为 AI 的这个加持原有的行业格局会发生比较大的变化这个变化很可能在 2025 年出现我觉得是的因为这个地方就要明确的是说第一个是场景要适合它不是随便去找一个就能完成第二个是说这个场景它一定能带来非常大的体验感的不同不是简单的这种小的升级它能让你惊艳的这种效果

然后这个时候我觉得就有可能性客服一定是然后像土海外的客服那其实也能看到那他们其实在去年卖的很好就因为你对一带一路销售别人说印尼语然后还有时差你能从国内找到多少人说印尼语马来语的客服这成本也很高你受不了但是那你现在越来越下沉你其实并不仅仅是原来是对他们的经销商你现在可能就要直面他的客户

那这个时候现在做出海 SaaS 平台的这些他们面向的是小币然后我提供了一些工具可以让你直接去发布你的产品然后上架售卖等等这些但是客服接进去那谁能抢到客服这个部分那就使得你原有的产品的份额就会有大幅度的变化因为大家上线下线都差不多那分析工具就这个样子但如果我可以有一个很好的客服

那你没有那我的销售份额就老大老二老三之间有剧烈波动了那这些厂家二五年一定是要紧盯这样的一个部分但是这个市场就不是创业公司进的创业公司能进入的一定就是一个创新型的产品这个产品之前是没有的

但是它要完整的利用大模型的四个能力就是长文本跨语言然后多任务还有一个生成这四个能力如果你能利用的好那它就一定是全新的这样一个部分比如说 AI Search 其实是非常好这个场景非常好因为它完整的利用了大模型的能力之前的小模型做不了绝对做不了效果很烂但是有了这个东西之后它就能做得非常好而且是一个新的物种

但是 AI Search 为什么不是这些传统的搜索巨头能够去做到好对您问这个问题特别好我觉得大公司它有自己天生的惯性

那还是左右互搏的问题左右互搏其实很严重的对于百度来说你这边文心一言一上去你百度搜索的量级就会下来搜索排名的收入怎么办对啊你怎么办然后你的曝光量一小本来所有人都在做 AI 搜索都在抢我搜索的份额我自己在抢走一些那我这边的搜索的本身怎么做

没法弄但是对于豆包为什么可以干我一直都在做搜索其实字节一直在做搜索不管在抖音里面还是在头条里面这些搜索都是嵌入进去的只是没有一个品牌独立出来那我既然没有搜索的品牌那无所谓我肯定大量的上

Google 也是这种状态我自己上到底怎么上我原来也是有金价排名的你现在这边的 Gemini 还是没有一个收入的然后我的收入逻辑现在还不清楚如果我大量再去上这个也是一个需要非常大的决心

而且从目前来看还是有一些搜索的部分是解决不了的就现有的 AI 设置解决不了搜索的一些问题还是会回到 Google 上去那它这个部分也是可以继续承担这个心理的冲击还是很大的自我革命始终是难的始终是难的嗯

好 那其实最后一块我们就来聊一聊 2025 刚才张老师其实已经涉及到一部分了就是关于这个 2025 其实对于很多商业的服务传统的这种领域会有一个比较大的机会是原有的行业格局可能会洗牌因为这个 AI 的加持那除了商业这个领域之外包括像底层的技术或者是其他的一些领域您看到 2025 我们可以期待什么样的一些 AI 方面的进展吗

我觉得 2625 就是明确的肯定是 agent 因为从 O1 O3 这套范式出来之后原来其实 24 年 23 年大家谈的 agent 更多的是 workflow 人写好的这样一个东西往上去跑其实我觉得那不是 agent 那东西就是 RPA 过去传统的这个部分对很传统的 RPA 没有什么特别的只是说里面某些点上用大模型来实现我觉得因为有了 O1 O3 这套范式那真正的 agent

才会在 25 年开始出现也就是说我自己会有反思的机制我做了一个东西之后我靠自我进行修正我这样一个智能体它是做自我决策其实 O3 其实就是这样子它就是在做自我决策那这个时候我觉得它就会带来很多应用上的一些变化了比如像荣耀手机 agent 这些部分那

你可能让他去选择某一个设置他可能一步过不去让这一步走错了那我就需要反思再过去然后这个过程其实就会变得更智能化他可以帮你完成很多的一些事情然后订机票呀规划行程啊这个反反复复多次才能搞好

就真正所谓的助手这个事对所以我觉得 25 年应该是可以期待的对因为这块咱们在录之前我也说过昨天听十字路口也是一个 AI 方面的一个播客节目他们就在聊到说 2024 年在海外诞生那个叫

DevIn 的这么一个 agent 的平台或者说工具很贵一上来就要大量的付费但是有做风险投资基金的人士就真的花 500 美金先买了然后拿来用就发现它确实至少可以抵几个实习生而且因为它是可以多任务的

然后可以学习的有反思的所以它会越用越好因为传统的 AI 工具最大的问题在于它跟你招过实习生的区别在于实习生可能上来笨笨的但是它慢慢的会知道这个公司可以教会对它会变得越来越好用虽然这么说有点物化人但是确实是这么一个感觉那传统的

AI 的工具跟 agent 之间的差异就是它缺少这样的一个过程现在这个平台上来之后发现确实有了一些这种能力至少能看到可能性对在 2025 我们会看到这块有一个更快的一个发展我觉得会有因为这种范式大家看到了并且效果上无论从 OpenAI 的自己还是别的公司还是学术界从各种小的方面都做了一些这种证明就是使用上的证明或者是说研究上的一些复现

所以我觉得在应用上面大家一定会能够看到就要看这个创业公司的场景怎么去选择怎么去想啊对然后就像您说的 Devin 这种部分他应该怎么去进化但我觉得一定会有很多所以这个上面应该是确定性的

就类似 2024 年这个 AI 图像生成从年初到年末有一个这样大的一个发展可能 2025 是 agent 这个我觉得会的所以 AI 很难搞这个太快了年初和年尾的这种使用上的结果上您看就会有非常大的变化每个月都在变化对所以做 AI 很苦的

但是从您看来从事人工智能研究 20 多年它是一直变化这么快吗还是最近这几年其实有一个突然的一个跳升的这种变化原来也在加速特别是在深度学习出来之后是在不停的加速但是也绝不到现在这个程度但是加速的原因其实主要就是使用范围变广了原来的时候像自然语言处理只能用在极个别公司的极个别岗位

但是从 Bolt 出来之后它已经用在绝大部分公司的里面了可能也是小部分就隐藏在后面但是绝大部分的公司其实都需要自然语言处理的人了然后这个时候研究的热点公司的关注使得这个技术就在不停的突飞猛进然后到了拆 GPT 更不一样了这就变成了一个全社会的焦点然后大量的

资金涌入那一定会使得这个结果疯狂的往上涨所以我觉得这个加速的速度实在是太快了这个完全受不了所以听您演讲说最可能先下岗的是这个 AI 研究员一定是 25 年一定是因为你看它是多任务混合在一起原来一个搜索引擎公司搜索引擎公司里面上千个研究员算法研究员而且都是做自然语言处理的他在干什么其实就是一个用户的检索词进来

我先要识别里面有没有人名有没有地名有没有机构名然后有没有医学名词这些东西都是一个一个的小模型每两个小模型你就得派一个研究员盯着那一个搜索引擎背后可能有上千个模型那我就得搞三五百个研究员盯着这一千多个模型不停的升级改造

虽然可能每年进步很小但你得找人盯着他那这些人你可以想象可能从 300 人一下降到 30 这种一线大厂的高端的研究员的快速裁员很恐怖所以我觉得可能在 25 年 26 年就会出现

因为他不像是工程架构的人工程架构的人就像支付宝这种出现这种皮灵的事故这是工程架构的人大家不太敢动的因为你是有技术积累的我从一点点涨上来这个东西哪里出错我有经验的人一眼就知道但是算法优越人是说你过去学的 board 没有用了然后我现在全换成大模型了你不懂

你不懂我不如招一个刚毕业的学生他懂他的工资还低他一个人能顶你们十个人那我干嘛不把你们十个干掉作为老板一定会这样子那我突然想到跟这个相对应的像现在因为大量的这些互联网公司都有所谓的审核团队这部分的是不是也可以比较快的用 AI 这个方式去替代但是他们成本不高研究员成本多高

那你明显能够看到就是大模型研究员的工资水平现在是涨得非常高就是这种顶尖的研究员的工资水平就非常非常高那一定意味着他能代替到之前很多的人那一下子就会有大量的这种部分就是算法工程师本来是一个非常火热的职业然后非常值钱的职业结果可能一夜醒来变天了一夜醒来两三年这个事就完成了不会那么快但是我觉得二五二六年

其实可能晚一点 26 年快一点激进一点的公司 25 年就会开始搞了因为他们不需要了所以这个是挺恐怖的

是 所以本来我在来之前录制期节目之前我会觉得作为一个 AI 方面的小白我会觉得这样的速度因为在加速度的发展所以会不会很快我们就可以见到通用的然后见到真正的 AGI 见到可以涌现的这种 AI 的出现但是今天张老师其实给我上的很重要的一课就是

这个范式或者这个底层逻辑其实大模型所谓的深圳式模型跟之前没有特别大的变化导致了那个极限其实在那里而这个极限如果想突破它的话必须得在 AI 之外的地方在数学或者是在自然科学这块有突破或者是两者互相影响对

带来一个突破之后才可能从现在的这个阶段走向下一个阶段而目前好像还没有看到这个迹象对我觉得是我的个人观点但是我觉得确实是这样的您总结得非常到位就是极限就在这儿天花板就是这四个能力那如果你想做推理也没问题但它一定要限制在一个非常小的场景而是这个场景里面你要有大量的训练数据所以为什么大家愿意做数学数学题目我可以搞到上亿道

然后我还可以生成一些那他就可以把它做到一个 90 分 80 多分但是别的这种领域的推理你搞不到这么多训练数据它的结果就很难提升所以它的天花板就是放在这个位置了嗯

突破的难度是我感觉很大对 所以我觉得对于学术界的研究甚至是业界研究肯定是存在心头的一个大石头但是对于普罗大众 对于普通人来说接下来几年可能会看到更加百花齐放的 AI 应用出来其实这个事情很像互联网到移动互联网等等的过程在你诞生 iPhone 之前你就是没有办法有很多的移动的

App 出来是那 iPhone 的诞生又是因为了种种种种的原因对吧很多的因素集合起来然后互联网才开始向移动互联网这块切换只是听下来 AI 的这个切换呢接下来需要一个更加底层的一个范式的变化或者说一个逻辑的突破对但是如果您从场景这个角度来看这个问题的话它可能也会挺快的对因为我们看这个人的工资其实是整个社会成本里最高的一个部分或者比较高的一个部分但是人工智能做什么就是替代人嗯

如果我把整个人的总量的 20%的脑力劳动力的体力活都给你带掉这个部分是有可能的而且大模型就有可能在这个边界上做到那是 10%还是 20%可能不好说也许是 30%但是只要你是脑力劳动力的体力活整理一下文件然后填个报表这些事情都可以给你干掉干掉了就意味着 AI 具备这块价值

然后他可以把这 20%的代替了 20%那我就用 10%的钱来代替所以它的价值是非常大的是的现在还没有到切换的地步但是提升辅助就是如果用我很喜欢那个书就是银河帝国的时代还没有到来但是让 AI 来帮助我们做很多事情的这个时代其实已经到来已经到了

以及接下来这两年可能我们会看到在非常多的领域就像张老师说的在垂直场景上的一个深入会是未来两年会看到很多变化的地方对 我觉得会看到很多好 今天特别感谢张老师的实践然后我觉得我也学到了很多感谢您邀请大家如果有任何的疑问或者是想要探讨

是的

好 谢谢大家谢谢张老师的时间我们下期再见谢谢