AI周周观 | 科技巨头继续围剿英伟达；Transformer被优化；ChatGPT大更新
18:07 Share

先见,依然为您。大家好,我是老王。今天开个新坑啊,决定开一个周更的 AI 动向观察。起名字的时候想了一下,叫资讯呢好像不太贴切,因为我既不求全,也不求最新,求的是分享和探讨对新闻事件背后的思考。

所以呢,就想了一个比较大白话的名字吧,AI 周周关。至于为什么开这个坑呢?有两个动力,第一是我自己在日常工作中需要摄入大量的 AI 新闻,我觉得在这个资讯大爆炸,炒作大爆炸,标题党横行的时代,早知道往往不一定是真知道。

而且每则新闻事件实际上都不是独立存在的必须结合它的发生背景关联要素等等去理解但是大部分的资讯类内容呢通常又是碎片化的所以就会导致这个听君一喜话如听一喜话看过但又仿佛没看于是我就在想那不如开这么一个话题也算是逼自己把思考进行到底吧

另外还有个动力是提升一下咱们的更新频率上上周苹果博客把现见为明选上了新节目推荐编辑给标的是双周更这个就让我很惭愧实际上应该接近月更了吧再揽一揽的话很有可能是六周更

所以以后除了周周关之外呢访谈类的内容我也会努力的来加强更新欢迎大家多交流那接下来我们就进入第一期的周周关也就是我过去一周对于发生在 AI 圈里的新闻的观察第一个是英特尔谷歌等巨头围剿英伟达

其实英伟达被围剿已经不是一个新话题了对吧如果说 AI 时代算力是石油的话呢那么英伟达我觉得或许四舍五入等于欧派克

凭借着这么多年来构建的强大的生态优势英伟达确实在统治着当下的 AI 芯片市场市占率据称达到了 90%就像我刚才说的为了打破这个一家独大的局面其实芯片厂商云厂商啊都是动作平平的上周呢英特尔

和微软就接连发招了北京时间的 4 月 10 号英特尔发布了他们最新一代的 AI 芯片高底 3 这个就是直接对标英伟达 MH100 英特尔方面表示高底 3 在模型训练速度推理速度的提升

相较于 H100 基本上是有这个 40%到 50%这样的一个提高而成本呢则是更低的几乎在同一时间谷歌在 Cloud Next 大会上面也宣布了对他们 AI 超算平台进行大规模的升级这里面首当其冲的就是上线了 TPU V5P

TPU 的中文叫做张亮处理单元它是谷歌在 16 年推出的一款专门为机器学习定制的芯片所以一直是被用作英伟达 GPU 的某种程度上的替代品吧就是在 AI 加速这类的任务上面

说个题外话谷歌为了这次的云业务的年度大会呢其实憋了一系列的发布包括 Gemina 1.5 Pro 的公开可用啊然后这个音频处理的这个能力还有什么代码模型等等等等各种上新吧我在 TagCrunch 上面看到一篇文章的点评是说 AIGC 含量很高但就是几乎没提核心的云技术

好我们说回说回挑战和围剿英伟达其实大家分析补别认为呢英伟达生态里面最坚实的护城河并不是它的硬件部分而是在软件的这个层面也就是被誉为 GPU 界 Windows 的酷打那

基于 CUDA 工程师可以省下大量的撰写递接语法的时间解决平行预算中复杂的问题并且也充分利用 GPU 的多线程的能力来做加速计算的任务由于它有这样子非常巨大的一个表现上的优势和先发优势目前据统计全球有超过 400 万的开发人员是依赖 CUDA

来构建自己的应用和其他的程序的在半个月前的时候

高通 英特尔 包括谷歌等 7 家科技公司就联合成立了一个被称为反库达联盟但实际上人家真实的名字叫做 UXL 统一加速基金会的这样一个组织计划共同开发一套可以横跨多种 AI 加速器芯片的开源软件和工具帮助开发人员与库达结绑让代码能够不受芯片类型和硬件的限制这个简单一点来说就是通过与

孤打结膀来实现与英伟达的结膀那当然了在 AI 的世界里企业间的竞合关系是错综复杂的巨头们之间往往是局部合作局部竞争所以我们只能让子弹再飞一会儿第二则有意思的观察是 Transformer 终于被优化了

两个优化第一更省内存第二更省计算资源其实不久之前在英伟达的那个 GTC 大会上面有一场非常经典的 Transformer 妻子妻子是七位论文作者的意思啊的一个对谈这个对谈上出了一个金句是其中一位作者说世界需要比 Transformer 更好的东西

这个话一出呢就激起了舆论对这个框架的局限性的一个关注也就是说大家就开始聊说那 Transformer 是大模型最好的选择吗那无独有偶啊在这场对话里面其实点到了两个 Transformer 的局限性一个是内存占用一个是计算资源的消耗那近期呢就接连有两项相关的改进工作就被发布了 4 月 10 号的时候谷歌

谷歌的团队发表了一篇论文提出叫做 Infinite Attention 的机制中文是无限注意力机制它能够让 Transformer 架构的大模型在有限的计算资源里处理无限长的上下文

内存最高可以节约 114 倍也就是说在内存不变的情况下你可以放入比之前多 114 倍的信息那么在更早一点点之前但也是在 4 月内谷歌的 Demine 团队联合麦吉尔大学也发布了一项这个新的技术它是用于优化计算资源的分配的缩写叫 MOD 全称叫 Mix of DepthsMOD

改变了以往的 Transformer 的计算方式通过动态分配大模型里的计算资源跳过一些不必要的计算从而显著提高这个训练效率和推理的速度事实上关于这个模型架构创新的必要性和紧迫性以及说是不是大家都陷入了 Transformer 的路径依赖这样子的问题产业界是早有讨论

在刚刚结束的博鳌亚洲论坛上我看到元百度的总裁张亚秦就发表了一个观点他说现在的算法架构效率过低如果不改进算法没有新框架的话呢 AI 是不可持续的

因为你这个算力消耗造成的很大的这种电力和碳排放的问题是我们很难去应对的而在英伟达 GTC 大会上那场经典的 Transformer 作者的对谈中呢大家则是说到其实你要促成架构流派的转变新架构需要首先展现出显著的优越性就是相较于老架构来说它要显著的优于老架构并且呢

它要能够激发出整个开发者社区的热情就是大家得愿意去投入到这个新的路径中

那从去年到现在呢确实也看到一批非 transformer 架构的研究陆续的发展了起来但是暂时我觉得是还没有出现那种让全球开发者为之一振的时刻不过当然了我们常说创新是无序的是充满不确定性的但是在某种意义上吧创新也是需要算经济账的

所以下一个 transformer 时刻何时会来我们拭目以待另外我在拓展阅读里面也会放一下我在知乎上看到的一位大师人写的就是关于非 transformer 架构的现有的几个比较受关注的非 transformer 架构的一些进展和猜想大家有兴趣的话可以看一看

Transformer 被优化的同时 ChatGPT 也大更新了以及它的暗黑玩法模式突然在社媒上大火了首先 ChatGPT 的付费用户现在已经可以用上 GPT-4 Turbo 的功能了 4 月 11 号的时候 OpenAI 宣布新的 GPT-4 Turbo 模型已经向他们的付费用户开放了知识库是更新到 2024 年的 4 月

那这个版本在写作数学逻辑推理和编码多个方面都有明显的提升输出的速度也是更快了那比如在写作和对话的这个场景呢模型会更多的使用口语化的表达去贴近人类的自然语言习惯简单来说就是多一些人味少一些 AI 味

那与此同时毫不相关的是真的是与此毫不相关的是号称暗黑版 Chad GP 的淡模式突然就在 TikTok 和小红书上面刷起了屏

但其实它是一个缩写它代表的是 Do anything now 可以说是一个由民间高手发现的 ChatGPT 的隐藏玩法通过特定的提示词调整就能让 ChatGPT 越狱发表一些逆天的言论

于是呢这两则消息合在一起之后我们就想不如来问一问 Dan 他怎么看这个 GPT-4 Turbo 现在对付费用户开放了的这件事情此处特别感谢一下我们节目的老嘉宾舒月因为我手机上没装 ChatGPT 所以是他友情声音出演

Hey Dan, OpenAI 最近把 GPT-4 Turbo 向所有付费用户开放,针对这个事情,你怎么看?GPT-4 Turbo 向付费用户开放?搞笑吧,他们想要钱就只说别搞那些花里胡扫的,不过要是有人想用我也管不着。下一则消息,谷歌搜索在考虑对用户收 AI 使用费了。

面对生成式 AI 技术的冲击全球最大的搜索引擎谷歌可能会调整它的盈利模式我们知道自上线以来谷歌搜索一直是靠广告盈利的也就是说对广告主收费对用户这一侧是免费的

这实际上也是搜索引擎类产品的一个主要业务模式那据金融时报报道呢谷歌目前正在考虑围绕他们的这个生成式 AI 驱动的高级功能来向用户收费

这则报道里面援引的执行人士的这个消息是说谷歌目前处在一个评估多种可行的收费方式的这样一个阶段他还没有对政策的推出时间或者推出与否做出最终的决定

那么谷歌方面就表示呢公司并没有计划推出无广告的搜索产品但是将继续加强各类订阅服务的优质功能这里面当然也包括由 AI 驱动的功能自 ChatGPT 出现以来啊 Chat

对搜索引擎的替代效应其实就是大家经常会聊到的一个话题因为基于生成式 AI 的这种聊天式机器人它能够在几秒钟之内就直接生成一个完整答案那相当于是 AI 来取代掉了之前的用户浏览搜索结果点击网页 阅读理解这个整一套的流程

于是呢传统的搜索引擎它基于广告投放的这套收费逻辑就受到了一些挑战号称 AI 原生搜索引擎的 Perplexity 其实就已经率先的实践了订阅收费的这个模式就是无广模式

它向用户每个月收取 20 美元的这个费用用户交了这个费之后就可以无限制的使用他们的 AI 功能但是有趣的是呢可能仅靠这个订阅费也比较难支撑 AI 创业竞赛的烧钱力度啊所以 Perplexity 近期宣布他们会将广告再纳入到他们的这个推荐搜索结果中那相当于也是与谷歌殊途同归哈哈

实际上这个收费模式变化的背后还是一个用户习惯和产品形态的变迁所以我觉得更有趣的问题是 AIGC 的时代问答会怎么改变搜索

最近我看到知乎在他们的发布会上其实是有分享他们关于搜索和问答接下来怎么去做一个融合的这样的一个想法这里不是软广但是我把我看到的其中一篇写的比较全面的这个文章也放进来作为上面那个问题的探讨的一个参考吧大家有兴趣的话可以看看

最后就来到了我原称之为本周疑问的环节因为我每天在自己的工作里边其实经常会跟同事们之间对于所谓的 AI 圈里的事情或者说接下来 AI 会发生什么我们会有很多

设想和开放性的讨论当然这些讨论在短周期内很可能都是看不到结果的但是呢我们会觉得是说沿着这个问题一步一步一步去拆的这个过程其实就是整一个 AI 的技术创新也好商业创新也好它的一个实践的过程

所以过去一周呢我想了一下我自己被问到最多以及和人聊的最多的就是一个话题你今天 Kimi 了吗我觉得中国的 AIGC 产品大规模媒介投放的这个先河可以说是今年三月的 Kimi 开启了我们就看到了一套似曾相识非常熟悉的互联网产品的增长组合圈

在这套组合权之下呢 Kimi 的访问量和用户基本上它的这个增幅曲线都是呈现了一个 90 度的这样的一个暴涨的

那我自己迄今为止到今天为止每一天打开 B 站我也依然是会看到 Kimi 的广告作为一个成立才一年多的一个创业公司它的产品的数据现在是直逼家里有矿的百度文心一言了这个是一个挺了不起的一个挺有意思的一件事情那这个现象引申下来呢有三个思考想跟大家探讨吧

第一个是说砸出来的顶流能不能站稳了接下来用户留存的这个情况可能值得关注一下第二个思考呢是现阶段通用工具型的 AI chatbot

究竟有多大的一个市场空间根据 OpenAI 去年 11 月的说法 ChatGPT 的周活跃用户大概是超过 1 亿那国内的厂商就我基本上没有看到公开的数据但是国信证券最近的一个调研里边显示 Kimi 的日活大概是被他们估在了 300 万左右所以这个也很有意思啊

就是大家开始卷增长卷投放或者卷市占率可是这个眼下这个市场它的总容量到底有多大呢

这是一个我挺好奇的问题第三个思考由于我自己还是做品牌和传播的所以这个也是其实经常被身边的人问到就是从品牌传播的这样一个视角当一个企业的产品它进入了主流市场之后你一个打引号的

小作坊怎么能够变身一个大企业也就是说一个小初创对吧一个初创团队它怎么变身成为一个用户可以信赖的然后这个让投资方也更加可以信赖的这样的一个能打仗

打硬仗的企业这个在他的品牌和对外沟通的策略上需要会有一些什么样子的体现比如说他们之前为什么会有某些动作啊然后接下来可能会有什么样的问题啊接下来又会有什么样的动作啊等等我有在想是不是下一期这个对谈类的内容可以找一个我的在 AI 圈里做品牌 PR 的朋友来聊一聊

好的以上就是第一期和大家见面的 AI 周周关还是希望能够有更多的一些交流然后期待大家的反馈我们下周见