The three most significant AI essays of 2024 are Sam Altman's op-ed in the Washington Post titled 'Who Will Control the Future of AI?', Dario Amodei's 'Machines of Loving Grace', and Sam Altman's 'The Intelligence Age'.
The AI safety movement took a backseat in 2024 due to a shift in focus towards competition for AI leadership and national security concerns, particularly the U.S. maintaining its lead in AI. The urgency around AI safety diminished as progress stalled around GPT-4 level capabilities.
Sam Altman recommended four key actions: 1) The AI industry must secure its secrets to prevent theft. 2) The U.S. needs to build out infrastructure to support AI development, including power plants. 3) A coherent commercial diplomacy policy for AI, including export controls and foreign investment rules. 4) Creative new models for global AI norms, focusing on safety and inclusion of the global south.
Dario Amodei envisions a future where AI significantly improves biology and physical health, neuroscience and mental health, economic development and poverty, peace and governance, and work and meaning. He believes powerful AI, smarter than a Nobel Prize winner across most fields, could emerge as early as 2026 and autonomously handle complex tasks.
In 'The Intelligence Age', Sam Altman argues that AI will accelerate human progress, enabling people to solve hard problems and achieve prosperity unimaginable today. He emphasizes the need for abundant compute and energy to make AI accessible to all, warning that under-resourcing could limit its benefits to the wealthy.
Safe Superintelligence, founded by Ilya Sutskever, aims to build safe superintelligence as its sole focus. The company avoids distractions from management overhead or product cycles, ensuring safety, security, and progress are insulated from short-term commercial pressures.
Sam Altman describes AI as a catalyst for massive prosperity, enabling achievements like fixing the climate, establishing space colonies, and discovering all of physics. He believes AI will amplify human abilities, leading to shared prosperity and unimaginable improvements in quality of life.
今天,我们将关注2024年最重要的AI论文。AI每日简报是一个关于AI最重要新闻和讨论的每日播客和视频。要加入讨论,请关注我们节目说明中的Discord链接。大家好,朋友们。这是我们今年最后一期深度阅读节目,我认为有趣的是,尝试关注我认为今年AI领域最重要或最有影响力的评论文章或论文。
我想到的一个主意,鉴于我经常引用它,就是倒数埃塞·马利克教授的“一件有用的事”博客上的顶级文章,但我认为,为了我们的目的,有一个更好的策略。我选出的今年三篇最重要的论文是:萨姆·阿尔特曼在《华盛顿邮报》上发表的评论文章《谁将控制AI的未来?》,达里奥·阿莫迪的《爱的恩典机器》,以及再次是萨姆·阿尔特曼的《智能时代》。
我还将参考“安全超级智能”的公告。我们将从今年并非最重要的评论文章开始,但这仍然是一个有用的设置和背景。今年发生的一件非常有趣的事情是,AI安全运动退居次要地位。
它在围绕加州SB 1047的讨论中确实有所复苏。但总的来说,今年的基调转向了对AI领导地位的竞争,而不是对AI安全的担忧。
5月份,参议院多数党领袖查克·舒默和一个由两党组成的参议员工作组发布了一项关于AI联邦政策的指导计划。真正引人注目的是,它在多大程度上没有考虑重大的AI安全问题,特别是X风险类型的问题,而是关注于,正如专栏作家和思想家泰勒·考恩所说,美国保持其在AI领域领先地位的国家安全重要性。
考恩继续说道,立法者似乎明白,他们宁愿面对必须应对中国发展而没有美国制衡的美国AI系统的风险。最终,他总结道,安全工作当然会在许多公开和政府的伪装下继续进行,但作为一项智力运动的AI安全主义已经达到顶峰。现在,即使过了八个月,我也没有准备好完全认同这个观点。我认为发生的是一系列事情的结合。
首先,我认为我们停留在GPT-4级别的能力上,降低了对话的紧迫性,即使没有完全消除它。其次,我确实认为,国家安全和美国在AI领域的领导地位肯定在桌面上占据了更重要的位置。
这在7月份得到了充分体现,当时OpenAI首席执行官萨姆·阿尔特曼在《华盛顿邮报》上撰写了《谁将控制AI的未来?》这篇文章。他认为,这个问题是“我们时代紧迫的问题”。
阿尔特曼继续说道,人工智能的快速发展意味着我们面临着一个关于我们将生活在什么样的世界中的战略选择。它将是一个美国和盟国推进全球AI、传播该技术的好处并开放其访问的世界吗?还是一个威权主义国家,其中不共享我们价值观的国家和运动利用AI来巩固和扩大其权力?没有第三种选择,现在是时候决定走哪条路了。
从那里,阿尔特曼认为美国处于领先地位,但并非遥遥领先。他写道,AI的第一章已经写成,但接下来的进步将“在人类社会的故事中开启一个决定性时期”。阿尔特曼在这篇文章中认为,公共部门和技术部门需要做好四件大事,以确保民主版本的AI能够占据主导地位。
首先,他认为,AI行业基本上需要擅长确保自己的秘密,有效地说,如果他们能从我们这里窃取秘密,他们就会这样做。其次,他认为,“基础设施决定命运”在AI方面。这是他在公开场合和私下场合一直在强调的事情。美国需要更努力地建设支持AI运动所需的基础设施,无论是比喻意义上的,还是在发电厂背景下的字面意义上的。
阿尔特曼还指出,“建设这个基础设施将在全国范围内创造新的就业机会”。AI可以成为一个新的产业基础的基础,我们的国家明智的做法是接受它。第三,他呼吁制定一项连贯的AI商业外交政策,包括“明确说明美国打算如何实施出口管制和外国投资规则,以促进全球AI系统的建设”。
第四,他写道,我们需要创造性地思考世界建立规范以开发和部署AI的新模式,特别关注安全,并确保全球南方和其他历史上被抛在后面的国家的参与。最终,他呼吁建立类似于国际原子能机构的AI机构。然而,比具体建议更重要的是,他竟然写了这篇文章,而且是在《华盛顿邮报》上发表的。
这在很大程度上反映并设定了我认为是今年许多AI政策讨论主题的基调。在我看来,另外两篇最重要的论文是在今年最后几个月发表的。一篇是9月份萨姆·阿尔特曼再次撰写的《智能时代》,另一篇大约一个月后由Anthropic首席执行官达里奥·阿莫迪撰写的《爱的恩典机器》。《爱的恩典机器》是达里奥试图阐述AI世界最佳情况愿景的尝试。
以下是他在文章开头写的内容。我经常思考并谈论强大AI的风险。我担任首席执行官的公司Anthropic做了很多关于如何降低这些风险的研究。正因为如此,人们有时会得出结论,认为我是一个悲观主义者或末日论者,认为AI大多是坏的或危险的。我根本不这么认为。事实上,我关注风险的主要原因之一是,它们是我们与我认为是根本积极的未来之间唯一存在的障碍。
我认为大多数人低估了AI的巨大优势,就像我认为大多数人低估了风险的严重性一样。所以,对我来说有趣的是,这并不是许多人认为的达里奥立场转变。相反,他是说,你已经听说了所有不好的方面,但让我告诉你好的方面。这是他哲学的一部分的阐述,它一直存在,但相对而言表达较少。
他说,这篇文章的目标是概述如果一切顺利,拥有强大AI的世界可能是什么样子。达里奥将其列表分为五类:生物学和身体健康、神经科学和心理健康、经济发展和贫困、和平与治理以及工作和意义。
在这篇文章的设置方面,达里奥拒绝使用AGI的语言,而是讨论强大的AI,这比现在发生的事情更强大。他对每个问题的框架是强大AI出现后的5到10年是什么样子。他说强大的AI最早可能在2026年出现。
关于他如何定义强大的AI,他说它在大多数相关领域都比诺贝尔奖获得者更聪明。他说,除了只是一个可以交谈的聪明东西之外,它还拥有人类虚拟工作的所有接口,包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它基本上是自主的,尽管他没有使用这个词。可以赋予它需要数小时、数天或数周才能完成的任务,然后它会自主地完成这些任务。它没有物理实体,但它可以控制现有的物理工具等等。
现在,在许多方面,他所做的具体预测,或他所做的具体最佳结果,并不是这里最重要的事情。相反,重要的是,他认为在这个时间点上,最重要的事情是充分阐述我们试图创造的世界。
更有趣的是,它与萨姆·阿尔特曼非常相似类型的论文相辅相成,他稍早些时候发表了他的论文。今天的节目由Vanta赞助。无论您是启动还是扩展公司安全程序,展示一流的安全实践和建立信任比以往任何时候都更重要。
Vanta 自动执行 ISO 27001、SOC 2、GDPR 和领先的 AI 框架(如 ISO 42001 和 NIST AI 风险管理框架)的合规性,从而节省您的时间和金钱,同时帮助您建立客户信任。此外,您可以通过自动化问卷调查并使用客户面对面的信任中心展示您的安全态势来简化安全审查,所有这些都由 Vanta AI 提供支持。
包括 Langchain、Leela AI 和 Factory AI 在内的 8,000 多家全球公司使用 Vanta 来展示 AI 信任并实时证明安全性。访问 vanta.com/nlw 了解更多信息。网址是 vanta.com/nlw。
如果2025年关于AI有一点是明确的,那就是代理正在到来。按行业划分的垂直代理、水平代理平台、按功能划分的代理。如果您经营一家大型企业,明年您将尝试使用代理。鉴于这有多新,我们所有人都会回到试点模式。那是
这就是为什么Superintelligent正在为今年年初提供一项新产品。这是一项代理准备情况和机会审核。在短短几周内,我们将与您的团队一起深入了解哪些类型的代理适合您进行测试,您需要哪些类型的基础设施支持才能做好准备,并最终获得一套可操作的建议,让您准备好弄清楚代理如何改变您的业务。
如果您对代理准备情况和机会审核感兴趣,请直接与我联系,[email protected]。在主题行中输入“代理”一词,以便我知道您在谈论什么。让我们让您成为AI市场最具活力部分的领导者。阿尔特曼的论文名为《智能时代》。它很短,所以我只需要重读一下。这实际上是我写的,不是AI。
在接下来的几十年里,我们将能够做到一些对我们的祖父母来说似乎像魔法一样的事情。这种现象并不新鲜,但它将被加速。随着时间的推移,人们的能力得到了显著提高。我们现在已经能够完成一些我们的前辈认为不可能的事情。我们之所以更有能力,不是因为基因改变,而是因为我们受益于比我们任何一个人都更聪明、更有能力的社会基础设施。
从某种重要的意义上说,社会本身就是一种高级智能。我们的祖父母和他们之前的几代人创造并取得了伟大的成就。他们为我们所有人受益的人类进步的支架做出了贡献。AI将为人们提供解决难题的工具,并帮助我们在我们无法独自想出的支架上添加新的支撑。进步的故事将继续,但我们的孩子将能够做到我们做不到的事情。
这不会一下子发生,但我们很快就能与AI合作,帮助我们完成比没有AI时所能完成的更多的事情。最终,我们每个人都可以拥有一支由不同领域的虚拟专家组成的个人AI团队,他们一起创造我们几乎可以想象的任何东西。我们的孩子将拥有虚拟导师,他们可以以他们需要的任何速度,用任何语言,为任何科目提供个性化指导。
我们可以想象类似的想法,例如更好的医疗保健、创建任何可以想象的软件的能力等等。凭借这些新能力,我们可以实现前所未有的共同繁荣。将来,每个人的生活都可能比现在任何人的生活都好得多。仅仅是繁荣并不一定能让人们快乐。有很多悲惨的富人,但这将显著改善世界各地人们的生活。
这是一种看待人类历史的狭隘方式。经过数千年的复合科学发现和技术进步,我们已经找到了如何熔化沙子、添加一些杂质、以惊人的精度将其排列在极小的尺度上制成计算机芯片、通过能量运行它,并最终得到能够创造越来越强大的AI的系统。这可能是迄今为止所有历史中最重要的事实。我们可能在几千天内拥有超级智能。可能需要更长的时间,但我相信我们会到达那里。
我们是如何走到下一个繁荣飞跃的门槛的呢?三个词:深度学习有效。十五个词:深度学习有效,随着规模的扩大而变得可预测地更好,我们为此投入了越来越多的资源。就是这样。人类发现了一种算法,它可以真正学习任何数据分布,或者产生任何数据分布的潜在规则。令人震惊的是,可用的计算数据越多,它在帮助人们解决难题方面就越好。
我发现,无论我花多少时间思考这个问题,我都无法真正理解它有多么重要。我们还有很多细节需要弄清楚,但被任何特定的挑战分散注意力都是一个错误。深度学习有效,我们将解决剩余的问题。我们可以说很多关于接下来可能发生的事情。主要的是,AI将随着规模的扩大而变得更好,这将导致世界各地人们生活的显著改善。AI模型很快将充当自主的个人助理,代表我们执行特定任务,例如协调医疗保健。
在未来的某个时刻,AI系统将变得如此优秀,以至于它们可以帮助我们制造更好的下一代系统,并在各个领域取得科学进步。技术将我们从石器时代带到了农业时代,然后带到了工业时代。从这里开始,通往智能时代的道路是用计算、能源和人类意志铺成的。如果我们想将AI交付到尽可能多的人手中,我们需要降低计算成本并使其丰富,这需要大量的能源和芯片。如果我们没有建设足够的基础设施,AI将成为一种非常有限的资源,战争会围绕它展开,它主要成为富人的工具。
我们需要明智地行动,但要坚定地行动。智能时代的到来是一个势头发展,面临着非常复杂和极其高风险的挑战。这将不是一个完全积极的故事,但其优势是如此巨大,以至于我们有责任为我们自己和未来找到如何应对面前的风险的方法。我相信未来将会如此光明,以至于没有人能够通过现在尝试写它来做到公正。智能时代的一个决定性特征将是巨大的繁荣。
虽然这将逐步发生,但惊人的胜利——修复气候、建立太空殖民地以及发现所有物理学——最终将变得司空见惯。拥有几乎无限的智能和丰富的能源,以及产生伟大想法和实现它们的能力,我们可以做很多事情。
正如我们在其他技术中看到的那样,也会有缺点,我们需要现在就开始努力,最大限度地发挥AI的优势,同时尽量减少其危害。例如,我们预计这项技术可能会在未来几年对劳动力市场造成重大变化,好坏参半,但大多数工作岗位的变化速度将比大多数人想象的慢,我不担心我们会没有事情可做,即使它们对我们今天来说不像“真正的工作”。人们天生就有创造和对彼此有用的愿望,而AI将使我们能够像以前从未有过的那样增强自身的能力。
作为一个社会,我们将回到一个不断扩张的世界,我们可以再次专注于玩正和博弈。我们今天做的许多工作在几百年前的人看来都是微不足道的浪费时间,但没有人回顾过去,希望自己是一个点灯人。如果一个点灯人能看到今天的世界,他会认为他周围的繁荣是无法想象的。如果我们能从今天快进100年,我们周围的繁荣也会感觉同样无法想象。
所以这是一个宣言,一条界限,表明这个新的、更好的时代即将来临。当谈到我们讨论过的那些风险时,阿尔特曼提到了工作,是的,但他花更多时间讨论的,或者看起来更重要的,是我们低估了这种转变,并限制了谁将从这种变化中受益。这就是为什么我想标记另一个,即“安全超级智能”的公告文章。
当然,这是由OpenAI联合创始人伊利亚·苏茨克弗创立的公司,文章写道:“超级智能触手可及。构建安全的超级智能是我们时代最重要的技术问题。我们已经启动了世界上第一个直接的SSI实验室,只有一个目标和一个产品,一个安全的超级智能。这是我们的使命、我们的名字和我们整个产品路线图,因为这是我们唯一的重点。我们唯一的重点意味着不会因管理开销或产品周期而分心,我们的商业模式意味着安全、安全和进步都与短期商业压力隔离开来。”
基本上,他们说的是,他们同意超级智能即将到来,或者至少正如他们所说,触手可及。但他们认为,当然,这是在OpenAI内部辛辛苦苦获得的知识,有效的所有投资和商业模式都只是分散注意力。
我认为这在其他两篇文章的背景下之所以有趣,是因为它确实再次肯定了这场竞争正在进行。这场竞争是为了获得更先进的AI,这场竞争是为了哪个国家或更重要的是哪个政治哲学拥有它的领导权,以及这场竞争是为了确保它使尽可能多的人受益。如果您想了解2024年的AI如何看待自己走向2025年,我认为这些文章讲述了这个故事。
这就是今年最后一期深度阅读节目的全部内容。一如既往地感谢您的收听或观看。直到下次,再见。