#91 走向AGI：也许AGI不会那么快改变世界
47:57 Share

科技慢慢拍的听众们大家好我们前两期节目分别谈了关于 AGI 的乐观预测和相对谨慎一点的乐观预测比如乐观预测比如说 2027 年 AGI 就会来到而且迅速改变了世界

而偏谨慎的一点的观点是说 AGI 的还有 5 到 10 年的时间中间还有很多的不确定性

所以我们在本期节目中我们将看一看另外一些更加谨慎或者说是悲观甚至说是反对 AGI 的一些观点这些专家大多对于 AGI 的到来不管是从时间点上以及是对未来改变世界的形态上以及时间速度上都会持一定的怀疑态度

这部分的内容主要来自于三个方面的主要观点第一是图灵鸟得主杨立坤大家都知道他是一直反对类似 AGI 或者 Transform 模型这样的一个不断扩展的形态的第二是来自于 Apple AI 组织的一个关于 AI 的经济模型研究这个经济模型叫做 Gate 第三是来自于普林斯顿大学教授阿拉亚南他的一篇比较完整的研究文章

我们是把这三份材料总结后汇总后我们在今天的播客中准备聊一聊也许大家听惯了很多主流的关于 AGI 的乐观的声音比如像 Sam Altman 经常谈到的 AGI 快速到来的这样的一个声音我们今天也希望大家能够多听听其他专家领域方面的一些

观点今天节目的形式依旧和前面一样也是有请 Google notebook LRM 的两位主播进行主聊然后我来补充和完善好我们有请二位主播

专家们对 AGI 到底什么时候能来,预测差别特别大。是的,分级很大。有些行业大佬说几年内就行了,但很多调查还有专家的预测中位数指向的是 2040 年到 2060 年,甚至更晚。对,这个时间跨度非常大,也让人想起历史上 AI 领域其实有过不少过于乐观的预测,后来都落空了。

是啊比如很早以前就有人说机器很快就能干所有人类的活了嗯

这种时间上的巨大差异其实部分原因就是 AGI 本身它就没有一个大家公认的能测试的定义哦 就说大家谈论 AGI 的时候可能心里想的那个标准或者说终点都不一样对 可能不是一回事更深层次的原因是很多专家认为要实现真正的通用智能可能光靠改进现有技术这种渐进式的是不过的

那需要什么呢可能需要科学上的根本性的突破这可能涉及到全新的 AI 架构或者完全不同的学习范式甚至可能是硬件层面上的革新要复制人类认知那么复杂的东西你想想情感创造力社交智能这些现在的 AI 技术还差得太远了

那这些差距到底在哪里其实报告中给了我们一个重要的观点就是 AI 目前现在最难实现的而恰恰是人类最简单的一些事情那让我们听听到底是怎么回事为什么这些专家看法差这么多没错一方面 AI 在某些特定方面你比如说逻辑推理数学进步确实非常快很亮眼

但另一方面要说到那些真正能大规模影响经济的能力比如可靠的常识做长远规划随机应变什么的这方面的进展好像就慢下来了他们特别强调就是那些我们人觉得特别普通特别自然的技能 AI 好像没什么突破普通技能比如呢比如真正的自己做主长时间目标不跑偏遇到意外能灵活调整计划

还有就是那种只可意会不可言传的常识判断力日常生活中用到的那些对

这些能力你想想看,在现实世界的经济活动里,比如物流,服务业,制造业,是不是至关重要?那肯定是啊。大部分的经济价值,其实是靠大规模地做这些相对普通的事来的,不是单靠几个顶尖的科学家搞研究。这个其实也能联系上那个莫拉维克悖论。我知道,就是说对人简单的事,比如走路,认脸,对 AI 反而超级难。

没错,因为这是我们进化了几亿年才有的本能。这些技能底层的那个算法,其实被进化打磨得非常非常刚效了,而且我们个体之间差异不大。但反过来,那些比较新的技能,比如下棋,高等数学,还有编程,

这些出现时间短得多对等等这个我得消化一下你的意思是我们觉得难的比如编程对 AI 来说反而因为人类自己用的方法不够好所以它更容易学可以这么理解就是因为人类在这些新技能上还没进化出什么最优解

原来是这样

这一下好像就说通了那这不就意味着像编程或者一部分数学研究或者那些任务能拆分的比较细上下文依赖不那么强的比如某些客服或者外包出去的那种活对 模块化的这些反而可能比需要比如说特别精细的动手能力

或者需要高度适应环境和长期规划的工作像是建筑工人或者护士更早被自动化这个推论是合理的需要精细物理操作长期计划和高度情境理解的目前看自动化难度确实要大很多

除了刚才二位主播谈到的关于人类进化出一些看似最简单但是对 AI 最难的事情之外其实业内大家对于目前的 AI 的算法类似 Transform 模型 Skeleton Law 能否支持我们走向 AGI 这个观点上大家也是有分歧的让我们来听听关于算法的瓶颈和阻碍到底在哪里

就是软件算法的进步速度能不能真的跟上硬件算力那么快的增长会不会有新的瓶颈出来一个挺让人惊讶的发现是大部分 AI 研究人员他们其实不太相信说只要把现有模型比如大语言模型做得更大更强就能很快搞定 AGI 嗯

是的这个观点很重要有个调查是针对那个 AAAI 就是人工智能促进协会成员的显示高达 76%的人认为光靠扩大规模这条路不太可能或者非常不可能成功 76%

这个比例确实非常高是啊这背后是担心收益递减吗就是说砸更多资源效果提升却越来越小了嗯收益递减肯定是原因之一就是你投入巨大的算力但性能的提升呃

编辑效应越来越不明显了但更核心的问题其实在于当前 AI 特别是大语言模型他们虽然语言上很流畅对吧对看起来很厉害但是在真正的逻辑推理英国理解还有就是常识方面有非常明显的短板

他们更像是基于海量数据的统计模式匹配擅长模仿人类说话的方式但并不真正就是说理解文字背后的世界逻辑关系理解了这跟人的推理方式是有本质区别的那个芝加哥大学的艾利·

的艾里森·艾廷格就说这种流畅的对话不等于必备了人类水平的推理能力所以这也解释了为什么会有幻觉问题就是 AI 会一本正经的胡说八道因为它其实没真懂没错正是这个原因这种幻觉或者说编造信息对于一个需要高度可靠性的 AGI 视统来说那肯定是知名的缺陷对吧嗯嗯确实

而且这些模型还缺乏对物理世界的基本认识怎么跟现实世界互动他不懂他没法像人一样持续学习适应新情况对适应性很差知识更新往往需要成本非常高的整体重新训练这些都是现有方法很难很难跨越的障碍嗯

在我们对一些基本的观点有了了解之后接下来让我们听听图灵奖得主也是 AI 界的老前辈著名的反对 AGI 的人士杨立坤他的一些主要的观点他现在一直好像在主流媒体上是跟这些所谓的目前一些主流观点是对着干的

推他所谓的那个世界模型的概念而且呢他认为 AGI 还很远也会是渐进发展的并且这些如果要达到那个能力是必须要所有基础能够组合起来协同工作的才能适应世界的各种情况那至少呢还有十年以上的时间也许可能会更久那接下来呢我们有请二位主播接着来聊聊他的观点

他那个核心观点我觉得挺颠覆大家想象的就是别指望像科幻片里那样突然碰 AGI 诞生了对他认为这更像一个一个漫长的工程项目工程项目这个比喻有意思是

是的,LeCun 特别强调,AGI 的实现它一定是一个渐进的过程,不会是某个单一的突发的事件。渐进是发展?对,他列举了好多要实现接应人类的智能,我们需要开发并且整合一系列关键的组件或者说技术难题。具体有哪些呢?比如说他说我们需要那种能通过观察世界来学习的系统,像是

像让系统看大量视频然后自己搞明白世界怎么运转的物理规律啊因果关系什么的这听起来像是常识学习让机器真正理解世界运作的逻辑差不多就是这个意思但他说要达到人类婴儿那种水平这个过程本身就需要非常非常长的时间婴儿水平就需要很长时间那确实挑战很大

还提了别的吗提了还有好几个比如需要大规模的联想记忆系统联想记忆就是说能灵活调用相关信息不是死板的资料库那种对对基础技术可能有一些但要整合好能灵活应用还差得远呢然后还要就是强大的推理和规划能力推理和规划

这个一直是 AI 的难点吧是的他自己也提出过一些像是目标驱动的 AI 架构设想但他说要让这类系统稳定可靠的工作也需要时间更别说还需要发展出那种能进行分层规划的系统

就是把一个大目标拆解成一步步的小目标哦 还要分层表示学习对 就是从具体细节里抽象出高级概念的能力这些都挺复杂的所以我理解一下它的核心意思其实是这不单是某一个技术难而是要把所有这些非常复杂而且现在还远没成熟的系统像搭积木一样有效地组合起来

还要让他们协同工作像人脑那样能适应各种情况没错就是这个意思他说这个系统集成的复杂性才是真正的瓶颈这听起来难度系数确实是指数级的是啊所以他强调的不是某个算法突破就完事了而是整个系统工程的这种艰巨性难怪他对时间表的估计那么保守是的说到时间表他给的估计是

至少十年甚至可能更久对他还补充了一句他说未来肯定还会碰到我们现在根本想不到的新问题这倒是实话技术发展总会带来意外不过乐坤的挑战还不止时间问题

它不光质疑什么时候实现也见对它好像更一步在挑战我们怎么衡量智能这个东西本身是的这个观点非常非常关键它举那个例子说星星在森林里生存某些方面可能比人更聪明

这个挺有意思的对这个例子特别好它的核心意思是智能它根本就不是一个单维度的东西不是说像温度计一样有个颗度可以线性排后续不是一条直线不能简单说谁比谁高没数我们不能用一把尺子去量所有的智能体它说

IQ 这个东西对人类内部比较可能有那么点参考价值但也只是衡量很有限的几种能力你根本没法用 IQ 去比较比如说人和猩猩或者人和未来的 AI 那他觉得智能应该是什么样的他把智能看作是一个技能的集合技能的集合对以及高效学习新技能的能力

这两个东西加一起技能集合加上学习效率这个定义倒是很实际是所以你看不同的生物或者不同的系统它们掌握的技能组合是不一样的技能这个东西它本身存在于一个非常高维度的空间里高维度空间对比如说

比如人类可能在抽象推理语言这些方面技能点加的多但星星呢在特定的环境生存利用环境资源方面它有它独特的技能未来的 AI 可能在计算数据处理上远远超过我们所以大家专长的维度不一样就是这个意思

既然大家在不同的维度上有个专长你怎么能用一个单一的分数就判定说谁更智能呢这是没法比的刚刚我们听完了乐坤的关于他个人的一些对于 AGM 的观点之后呢

接下来我们在这聊聊一份来自于 Apple AI 组织的一份分析和预测 Apple AI 是一个多学科的研究组织他们主要专注于人工智能的发展轨迹他们主要还去分析说未来 AI 对于经济和社会的一些影响所以为此他们也提了一个自己的 AI 的经济模型这个模型叫做 GATE 作为预测的基础

Gate 模型大致分成三个主要的部分第一就是对于基础的设施的算力甚至包括硬件的资源软件的算法等等这是第一部分第二部分对于一些自动化就是说由于使用人工智能之后给整个社会包括模型开发应用的开发所带来的一些自动化的能力

那第三部分呢是真实的生产也就是说用于我们实际的企业中运作的一些比如数字员工啊数字劳动力啊那这些资源呢会和传统的一些人力资本或者自然资源相结合而为整个社会带来经济产出

所以这三部分它是一个互相促进的一个过程比如说我们通过这种基础的设施的投入软件硬件的投入那就会带来更多的自动化的应用的能力通过更多的自动化的应用能力就会给整个社会带来更多的这种

实际经济价值的生产的一个投入那这些生产带来更好的经济价值之后呢又会为基础的软件和硬件做投入所以这样形成一个良性的循环所以这是 Git 模型的一个基本的一个框架和结构而对于 Git 模型里面到底是如何预测和推进 AGI 的一个发展的话那我们还是接着听听二位主播是如何聊的

那咱们先看他提到的一个经济模型叫 GATE 嗯 GATE 模型特有意思的是它好像主要目的不是算面不是说 AI 哪天就成了而是帮我们自己捋捋思路没错就是检查一下你对 AI 的各种想法放在一起看逻不逻辑自不自洽比如说比如你可能觉得嗯

软件进步肯定飞快然后投资也会这个越来越多但模型可能会告诉你这两个一结合那自动化来的速度可能比你感觉的要快很多哦

它就把这些因素给量化了对它核心逻辑就是计算能力这里面包括硬件也包括软件的进步它的有效提升会怎么一步步的把经济里的各种任务给自动化掉那这个模型它最看重哪些变量呢或者说哪些因素影响最大主要有那么几个关键的假设或者说变量吧一个是你砸钱搞研发到底能在多大程度上推动 AI 进步投入铲除笔对

然后是经济里不同任务之间的那个互补性就是是不是有些活必须得配合着干明白了不能单独自动化是的还有个很现实的问题就是建设新设施比如芯片厂发电站这些会不会有时间滞后

这个瓶颈也很关键确实建厂不是一天两天的事这些都会很大程度上影响自动化整体的缩度好这个模型有点意思那接下来这个观点我觉得可能很多人没想到就是 AI 对经济的影响

接了很重要一般我们老听到的是 AI 要改变世界主要是靠自动化研发对吧加速科学发现什么的对这是个主流观点自动化研发当然是长期来看非常非常重要但是呢但这份访谈提出了一个可能冲击力更强的短期视角

就是说 AI 对经济最大的影响也许不是来自他作为更聪明的大脑而是来自大量的 AI 工作者 AI 工作者这个说法新鲜就是他们能极大的扩展我们现在这个有效的劳动力总量等等这怎么理解像助手一样对你可以想象一下要是你的工作效率能被比如说 1000 个 AI 助手给放大 1000 个 AI 助手

你想想看,人力成本或者说劳动报酬在整个经济里占比非常高,大概能占到国民收入的 60%到 65%。哇,这么高?嗯,所以这种规模的劳动力放大,它短期内产生的那个经济效应可能要远远超过就是单纯自动化研发带来的好处,这可能会从根本上改变我们对增长动力的看法。这个视角确实挺颠覆的。

感觉关注点完全不一样了对明白了那对近期的发展访谈落关吗嗯访谈里预测到 2025 年就是这两年因为算力还在继续大力投入还在猛砸钱对所以 AI 在一些之前觉得特别难的基准测试上比如高级数学 Frontier Math 和软件工程 Swebinch

可能会有非常显著的突破甚至可能达到所谓的饱和就是把这个测试给打通关了进展可能还会加速听起来很猛但这里面我感觉是不是也有一些隐忧对有个提醒或者说警示吧就是目前我们看到的这种飞速进展很大程度上是靠着指数级层长的计算资源堆出来的

算力是关键如果比如说到了二十三零年前后因为成文太高了或者能源跟不上了各种原因吧这种算力的投入开始放缓了那会怎么样那 AI 本身的那个进展速度很可能也会跟着慢下来当然除非 AI 自己能变得足够聪明能反过来帮我们推动 AI 研发或者更有效的找到利用资源自我进化加速对但这个必须

并不是一个板上钉钉的事情还是有不确定性的明白了所以不是一条直线永远向上的是的有潜在的瓶颈

前面两位主播聊的一些内容大多来自于一些公开的研究报告一些官方的网站以及一些对谈的播客我们看到他们这两方的观点主要还是基于 AI 技术本身和一些直接关联因素的而第三份报告主要是来自于普林斯顿大学阿拉亚南教授的一篇关于作为普通技术的人工智能这样的一份更加全面的研究报告

其实我们在第 65 期 AI 反动派那期节目中我们就谈到过这位教授的一些主要观点

今天我们再稍微做一下补充阿尔文德阿拉亚男是一位印度裔的计算机科学教授他主要来自于普林斯顿大学他们之前他就和他的一个博士生叫做塞亚什卡布尔他们之前写过一本书叫做 AI Snake OilSnake Oil 就是蛇油也就是类似中国说的万斤油就讲的是 AI 是万斤油走用到哪里都行其实他谈到的是一种高科技然后更加的是

更多的用于了今天的宣传啊更多的夸大了他的能力所以这篇这本书呢主要讲的是这个内容啊他也认为呢 AI 现在这种高科技呢有一些表现出来一些不透明性啊啊又有一些男人常人难以理解的这种展象就有点像占卜算命啊呃非常容易欺骗自己也很多人呢把他这个用于炒作去愚弄别人甚至也欺骗了自己啊

所以阿拉亚认为 AI 并非人类的这种生存危机而是我们应该更担心我们去如何使用 AI 而非 AI 本身对于 AI 的本身的过度关注和焦虑也是今天社会上很多多数人的一些认知惯性所以今天特别是面对 AGI 的炒作时他和他的学生在

今年的 4 月份又发布了最新的文章叫做 AI as normal technology 也就是说 AI 人工智能应该是作为一种普通的技术这里边它核心有三个观点第一是说对于当前人工智能的一些表述第二它看到了对可预见的未来人工智能的一些发展第三它谈了一下对 AGI 的一些期望和建议好我们接着有请 Notebook LRM 的两位主播和我们来聊一聊

如果 AI 是普通技术文章说它真正产生颠覆影响可能会比我们想的慢很多甚至要几十年这个听起来跟现在天天刷到的 AI 新闻不太一样啊嗯

这确实有点反直觉文章里区分了几个层面 AI 的底层方法比如大模型然后是 AI 的应用就是产品最后是采纳和扩散分了三步对这三步速度不一样扩散是最慢的尤其是在那些人命关天的地方比如医疗医疗确实要谨慎文章举了个例子 EPIC 公司的那个败泄症预测工具

实验室里看着准确率挺高,但真到医院用,效果很差。效果差?怎么说?漏掉了很多真病人,反而还老是误报,给医生添乱。就是说,这种复杂的模型,你在实验室里很难把所有真实情况都想到。我明白了,所以 AI 在这些领域的普及可能真的要等很久,几十年。对,远远落后于技术本身的发展。

而且你看像欧盟那个 AI 法案各种法规也在给这个过程踩刹车那在不那么敏感的领域呢

比如日常工作是不是也快不了啊我记得文哲好像提了电力的例子对提到了即使在非安全攸关的领域扩散也受限于人和组织的适应速度就像你说的电力爱迪生搞出电站了但工厂生产力真正大提升那是快 40 年后的事儿的 40 年这么久嗯因为工厂得重新设计布局改变整个工作流程 AI 也一样不是说技术有了就行

人得改习惯组织得调整这都需要时间有道理这么说来我们可能确实有点高估了 AI 目前的实际落地能力

比如那些 AI 考试得分很高的新闻。正是,想让 GBT4 考个律师证,分数确实可能很高,但这并不等于他就能真的去开庭,去处理复杂的案子。这类测试,他往往考的是模型擅长的记忆应用规则,但忽略了很多真正重要的专业技能,那些很难量化的东西。

研究里管这个叫建构效度问题建构效度对简单说就是考试考得好不代表实际工作就一定行现实中那些真正考察 AI 影响的研究 Uplift Studies 发现目前 AI 对专业人士更多还是辅助作用远没到大贵罗替代的程度好这个确实让我们对 AI 速度需要更冷静的看待

刚才二位谈到的是文章的第一部分内容这部分内容其实在真实的报告中内容是很多的所以我也做一些补充

其实这篇文章并没有讲 AI 本身自己的技术它更多的讲的是 AI 给整个社会和经济带来的这种变革性影响是十分缓慢的可能需要数十年的时间这个在和以前的很多技术也可以做一些类比大家可以依此来推测那首先谈到的说在一些安全的一些关键领域扩散比较慢因为大家对风险的厌恶这个大家都是很容易理解的那

那第二呢他也谈到说我们人类和组织和制度的这种变化本身速度是很慢的啊

其实我们在之前的一期节目也谈到一本书叫做集装箱改变世界其实当时就是说集装箱这个技术当时确实给世界带来的整个运输效率运行成本带来非常高的这样的提升但是它改变的这些世界的这种运输的格局也是一步步的它在出现 6 年后显得应用的还非常少当时集装箱仅仅占纽约港普通货的 8%

其实在 20 多年的这样的一个推广过程中是结合了比如说海运的工会企业政府以及使用者包括像铁路行业卡车行业油价等等的多方面的这样的一个推动经过 20 多年的时间它逐步的无缝的这样衔接所形成的这样一个格局所以人类社会在推进一些技术的时候它的组织变革和社会变革是非常慢的

第三点他也谈到就是说人工智能在应用过程中需要和人的组织互动比如说我们很多东西是要从一些研究从实验到一些药物测试到一些经济政策那种知识的这种获取或者了解以及社会的实验成本也是非常高的现在的社会不可能允许人工智能进行一个很快速的很大规模的社会实验来完成快速的构建

第四就是说 AI 在真实的使用构建现实世界上的实用性可能也达不到所以它里边谈到一个叫做建构效度这个概念其实原来是来自于心理学和教育学社会学的一个测量学的概念主要是用于测量说是否这件事情真正达到了它所要的一个目的

说白了就是说今天的 AI 测试都是在做一些硬式的教育就算你答对了你再难你也是数学题这一类的代表你有实际的工作能力吗也就是说你的建构效度能不能在实际的应用中达到一个合格的标准其实大家连怎么去衡量 AI 是不是达到这个要求都不太知道所以他也是谈到了这个观点最后他其实博士了我们其实在上期节目中或是

或上上级节目中谈到那个观点啊就是说一旦 AGI 实现能够 AI 给经济或者社会带来快速的增长啊

阿拉亚男他的这个文章他认为说人工智能的方法确实可能能改进但是并不能直接转化为对于经济的影响以及经济的影响和创新和扩散这两方面的实际的这种作用都是非常缓慢的所以这篇文章整个的第一部分就是在讲说 AI 也许你的技术上能实现但是从你的应用到扩展这是一个非常慢的一个返回循环的过程

经济和社会如果没有得到快速的扩展整个的经济就得不到一个快速的发展

所以这是文章第一部分的主要的观点在文章的最后呢他也谈到了说他也质疑了说 AGI 现在的目标哈大家就说这个经常我们会用移动这种目标或坐标轴的现象来去评判 AI 比如他就举例哈当年 1956 年达特茂斯会议当时组织者就觉得说我们只要十个人努力两个月我们就可以把 AI 实现了哈

所以当时就设定了一个简单的基准测试我们就去完成这个基准测试而后随着人工智能的发展这个基准测试就像我们以前谈到图形测试这个目标值一直在移动他认为就是假顶峰就我们以为到顶了其实还有一个更高的顶峰在等

或者叫移动门柱这里边也谈到了说我们经常会去改变对于 AGI 的目标的定位以导致我们说不见得很容易就能达到这个目标

其实知名的播客主播 Freedman 也表达过类似的观点有一次他在和马斯克的对谈中他就提到了说他觉得人类可能没法实现永远或到达不了他们想要的 AGI 因为他可能采访过很多的嘉宾了他也问过嘉宾类似关于 AGI 的问题所以他认为说目前其实的 AI 已经比人类智能已经更强大了

就是我们人类现在不太愿意承认所以我们就不断的向后移动所谓的目标要求为 AI 去设定新的标准但他也认为有一种情况下说可以算是实现 AGI 就是说如果这个 AI 系统的智力已经超过了所有人类智力的总和他听到不是某个人是所有人类的智力的总和那个时候人类可能就不得不去承认所谓 AGI 的到来

所以这是整篇文章第一部分的一个主要的一些内容接着我们来听听二位主播聊聊这篇文章的第二部分内容

那文章接着讨论了在一个 AI 更厉害但还不是超级智能的未来我们人扮演什么角色呢嗯这个部分有很有意思文章反对用很模糊的智能概念特别是跨物种比较来衡量 AI 那用什么呢他提出了一个关键区分能力 capability 和权力 power 能力和权力对就是说我们人类之所以这么厉害

核心不是我们生物大脑本身比别的动物聪明多少而是我们特别擅长利用技术包括 AI 来增强我们改造环境的权利你想现代人跟石器时代的人比我们不就是靠着各种技术实现了某种意义上的超级智能吗这么说也有道理所以核心问题不是 AI 会不会比人聪明没错

没错,核心是我们怎么确保 AI 的能力越来越强的时候,我们不会失去对它的控制权。这个角度转换很重要,从比谁聪明转向了如何控制,

那文章建议怎么控制呢?听起来不是科幻片里拔插头那么简单吧,也不是光指望模型对齐。对,文章觉得控制方法其实很多,原不止模型对齐或者弄个人再回路按钮那么简单。比如呢?

比如我们已经有的很多方法审计监控系统安求工程里的那些像故障安全设计熔断机制还有网络安全的原则比如最小权限人际交互设计也很重要比如让操作可以撤销这些都是现有工程领域的成熟方法是的再加上现在专门的技术型 AI 安全研究也在提供新的工具和思路控制手段其实是挺多的

这就是这篇文章的独特之处它不只是在谈与关于 AGI 的智力本身的问题而谈了智力和权力两个不同的概念也就是说谈到了人在整个 AGI 或者 AI 到来的更高级的阶段人应该处于一个什么样的位置我们要做什么样的工作这也

提出了对于上上期关于 AI2027 中谈到一个观点就是说 AI 来临能够迭代自我进化之后人类的工作就会被替代的这样一个主要的观点他这篇文章就认为说智能是一方面但这个不是最重要的人类以来都是利用技术来去增强我们对于整个环境和世界的控制而不是谁比谁更聪明而是我们要转换观察的角度我们要去看谁在控制这项技术

就算是能力方面其实文章也谈到了有两个 AI 可能目前看起来难以到达的一个方向一个是预测一个是说服所以我们就可以看到其实目前人工智能在一些预测的方面做的是非常的差的虽然人类做的也不太好了但是它可能比一些受过专业训练或者在这方面有专业能力的人类的预测能力还比较弱的它现在更多的还是对于现有知识的总结和分析

另外我们也发现说人工智能现在这些大模型对于 AI 的说服能力是不够的虽然我们可以看到日常我们在和 AI 的一些对话中比如说在和豆包聊天或者 ChatGB 聊天的时候也经常被它的观点所影响

但是我们可以说就说这些所谓的 AI 的说服对我们来说是代价非常低的所以你才认为你是被他的观点所影响如果真的说让 AI 去劝说你要买房子或者买车或者结婚生子这些重要的决策大家我想是没有谁去听 AI 的这种建议的所谓的所以现在的文章认为说人工智能在这方面还是有差距的

既然文章认为说人类不是被完全取代的那么人类对于更高级的 AI 的能力的时候我们应该采用什么样的应对策略我们应该做什么样的事情以及 AI 可能带来的风险在文章的第三部分有所介绍

那未来人的工作会变成什么样是不是都要去学怎么控制 AI 了可能很大一部分会转向设定目标监督 AI 控制 AI 就像工业革命以后很多人的工作从直接干体力活变成了操作机器监控机器角色的转变对

AI 运用越广人在制定规则处理那些 AI 搞不定的边界情况确保它按我们的意图工作这些方面的价值就越突出而且市场自己也会调节市场怎么调节你想一个老是失控闯祸的 AI 系统谁敢用它既不可靠也不经济所以市场本身就会倾向于更可控人能主导的系统再加上法规的推动明白了

那我们再聊聊风险,用普通技术这个视角看,我们应该担心 AI 的什么风险,是不是那些天网式的 AI 接管世界的风险就没那么重要了?这个视角确实会把那些

比较科幻的灾难性的失控场景比如那个回形针最大化器四项实验优先性放的低一些为什么呢因为他认为这些场景往往基于一些对现实世界技术部署方式不太靠谱的假设比如假设系统会完全跳过渐进测试或者完全无视尝试就被部署出去现实中不太可能这样有道理所以他更关注那些可以通过现有极致管理的问题

比如意外事故可以通过开发者部署者的责任市场激励和安全法规来管军备竞赛呢国家之间用 AI 竞争这也是老问题了不是 AI 特有的可以通过类似自动驾驶行业的监管方式来处理

安全记录和市场成功挂钩还有滥用比如用 AI 搞诈骗对像 AI 网络钓鱼文章认为主要的防御应该在下游就是加强我们现有的安全措施比如邮件过滤系统而不是试图去限制模型本身的能力因为 AI 同样也能用来做防御嘛嗯

毛和盾的关系还有就是失准 AI 行为偏离了我们的预期也主要靠下游的控制和更稳健的系统设计来防范好那排除了这些或者说降低了优先级之后什么风险是需要我们特别高度关注的呢反而是那些更地气的系统性的风险系统性风险对

比如 AI 可能固化甚至加剧现有的偏见和歧视这个确实很现实还有可能导致某些职业大规模失业或者让打工人的劳动条件变得更差对就业的冲击拉大贫富差距让权力更加集中在少数大公司或机构手里还有就是

污染信息生态假新闻泛滥甚至可能威胁到民主制度这些群起来好像都不是 AI 自己想作恶没错很多时候是人和组织在利用 AI 追求自己利益的过程中带来的副作用 AI 只是一个放大器放大了我们社会本来就存在的问题和矛盾这跟

工业革命时期出现的很多社会动荡有点像那面对这么复杂的局面特别是未来的不确定性到底是普通技术路径还是可能走向更颠覆的路径政策上该怎么办呢

政策制定确实需要智慧,文章特别反对一种做法,就是试图给各种未来可能性算概率,然后搞成本比喻分析。为什么反对?听起来还挺理性的啊。因为这些概率说实话根本没法可靠的估计,基础不牢,而且后果太难预测了,还牵扯到很多价值观的冲突,你怎么衡量?那不搞成本比喻分析,搞什么呢?文章主张采取一种叫韧性,resilience。韧性?

这个词挺流行的,具体指什么?指的是我们现在就应该采取行动,提升整个社会系统应对未来冲击的能力。不管未来 AI 带来的是好的冲击还是坏的冲击,我们都能扛得住,恢复得快。听起来像给社会系统强身健体。可以这么理解。

这包括一些普世性的措施比如加固民主的基础资助对各种不同类型风险的研究不能只盯着一种风险提高透明度培养相关专业人才等等这些听起来都是有好处的对

还有一些措施可能在普通技术这个路径下尤其有用,比如促进市场竞争,包括可以谨慎地支持开源模型,避免一家独大。嗯,开源确实能促进竞争。还要确保 AI 技术也被广泛地用于防范目的,不能光想着进攻。

采取多中心的治理模式避免权力过度集中这些都是为了增加系统的抗风险能力同时呢文章也提醒要特别谨记那种防扩散的政策防扩散是指像限制核武器那样限制 AI 技术吗对比如非常严格的技术出口管制或者搞什么开发许可制度文章认为这类政策首先很难真正执行到位技术这东西不好管而且副作用很大

它可能会扼杀竞争你想想只有少数几家能搞那不就垄断了吗还可能造成单点故障风险万一那几家出问题呢也阻碍了安全方面的研究和信息共享甚至可能起反作用是的它可能自相矛盾的反而催生出权力更加集中的 AI 系统所以政策的重点应该是促进 AI 有益的扩散有益的扩散这就需要政策更细致更灵活

不能过早地就把某些技术或者应用定死分类那样可能会扼杀创新同时还要大力投资 AI 的补充品补充品是指什么比如提高全面的数字素养知道怎么用 AI 怎么辨别信息开放更多高质量的数据集还要认真解决技术进步带来的利益分配和失业补充问题嗯配套措施要跟上对这样才能让 AI 的发展更普惠

文章的最后这部分其实体现了作者更加开放的一个想法它更像一个民主的开明人士防止了政策或者技术的一些滥用或者无效使用这和我们在上上期谈到 AI2027 里面那篇文章的一个典型的差异因为那个里面采用的基本是一种是封闭式的竞争式的冷战策略的这样的一个应对国际的一个形式的这样一个看法

所以对于阿拉亚男来讲他认为我们今天的这些 AI 的能力应该站在 AI 的能力本身以及它的应用以及扩散更大的时间尺度对社会整个的经济影响来去看待 AGI 的发展的问题

最后作者也谈到说现在的主流观点就好像大家都认为 2027 年 AGI 马上就要到来了世界就会变得很大的不同而他是并不这么认为的他认为说我们很多的我们的朋友也必须要接受不同的对于 AGI 的叙事逻辑和分析方法我们来不同的观点来去看待 AGI 的未来的发展

你看,我们讨论这些材料的时候发现,即使是专家在谈论 AI 未来的时候,好像也挺难把不同领域的知识,比如 AI 能力本身、经济学、历史、社会影响等等,很好地整合起来,讨论有时候显得有点碎片化。

有这种感觉那么这种专家思维本身的碎片化会不会它就是我们理解和预测 AI 的一个瓶颈甚至它恰恰反映了研发通用人工智能本身面临的那种整合尝试和跨领域知识的生存挑战

确实如刚才主播谈到的我不知道我们关于未来预测 AGI 的发展我们做了三期节目大家有没有类似的感觉我们从极度的乐观到谨慎的乐观到今天的反对观点这些专家好像有一点各说各话所以这也是业界的一个现实就大家像我们第一期谈到对 AGI 的定义一样大家没有一个标准统一的看法对于 AGI 的预测当然的观点差异就会更大了

而我们节目的目的就是希望能够更好的收集和整理汇总这些观点为我们的听众提供一个更完整的更全面的视角来去观察 AGI 的发展那既然 AGI 目前还有这么多的路要走那我们应该用什么样的方式来去到达那里呢我们抛开业内的这些乐观或者谨慎的观点呢我们也想提出三种这样的一个新的方式我们想把这个三种方式放在下一期节目中跟大家好好聊一聊

好今天的节目就到这里如果您对我们节目的内容感兴趣的话也希望您能点赞评论订阅和转发我们下期节目再见

被梦见的惊醒了我所有的记忆在奔向你的路上我唱起坠入浪向乌鸦在风中歌唱你带的雨往空荡荡

多想逃离被宿命追缠的游戏多么证明一场盛大的险棋挣脱这深情这阴光从青之落

这一红就快将我淹没在清晨梦里我长期坠入了梦乡沐浴着凌凌不光几如潮湿的太阳踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了踏了�

tada~