Business Book of the Year: Author Parmy Olson on the rise and risks of AI
27:56 Share

嘿,Behind the Money 的听众们,新年快乐!几周前,《金融时报》和施罗德公司颁发了 2024 年度最佳商业图书奖。竞争非常激烈。入围的书籍涵盖了从美国军方内部的技术革命到塑造世界公司管理实践等诸多主题。

但最终获得一等奖的书籍,其主题在 2024 年占据了新闻头条,毫无疑问,它也将在 2025 年继续受到关注。那就是人工智能。这本书名为《霸权:人工智能、ChatGPT 和将改变世界的竞赛》。作者是帕米·奥尔森。她是彭博社观点版专栏作家,此前曾担任《华尔街日报》和《福布斯》的技术记者。

我的同事安德鲁·希尔是《金融时报》资深商业记者。自 2005 年以来,他一直负责主办图书奖评选活动。12 月初,安德鲁在我们伦敦的工作室与帕米坐下来,讨论了她书中的主题。您即将听到的是这段对话的精简版。我希望您会喜欢。我很高兴能邀请到帕米·奥尔森,她是《霸权:人工智能、ChatGPT 和将改变世界的竞赛》一书的作者。

我们是在《霸权》获得 2024 年《金融时报》和施罗德年度商业图书奖几小时后进行的访谈,这是自 2005 年我们启动该奖项以来获得《金融时报》奖的第 20 本书。帕米,欢迎。谢谢。很高兴来到这里。恭喜你。谢谢。

请为那些尚未阅读过这本书的人概述一下这本书的论点。是的。这本书实际上是关于技术和人工智能领域权力集中的。大约两年前,ChatGPT 推出后不久,我就想写这本书。我对这项新技术着迷不已。它超越了我们之前从 Siri 和 Alexa 中看到的任何东西。

但我感觉幕后发生了一些事情,我认为人们有必要了解,那就是这场对控制权的争夺。我认为,在这个故事中,有两个非常重要的人物。一个是 DeepMind 的创始人德米斯·哈萨比斯,DeepMind 现在归谷歌所有。另一个是 OpenAI 的创始人山姆·阿尔特曼。多年来,这两个人一直在努力阐述

最终构建通用人工智能,这是一种关于人工智能达到阈值,超越我们人类自身认知能力的理论。他们的想法是,一旦他们达到这个目标,我们就能解决我们目前许多社会弊病和问题。然而,在他们的旅程中,那些相当乌托邦式的、几乎是人道主义的理想

逐渐淡出背景,因为他们越来越多地与两家非常大型的技术公司结盟。我想在书中表达的重点是,首先,大型科技公司缺乏适当的治理和监管是一个问题。它们规模如此庞大,现在几乎是不可触碰的。

另一个重点是,即使是这些创始人,这两个非常重要的人物,他们也知道,他们也看到了大型公司在监管真空状态下控制这项技术存在一些令人担忧的问题。他们都试图建立治理结构。

将技术分离出来,并对其进行适当的监督。但他们两人都未能做到这一点。所以我写这本书,有点像对人工智能发出警告,为什么我们需要对这项技术进行适当的监管,尤其是在它越来越受到少数人控制和操纵的情况下

不仅仅是公司,而是少数人。对。如果可以这么说的话,这是一种假设,我想,它已经从你在彭博社专栏作家的工作中浮现出来。在撰写这本书的过程中,你有没有发现任何意想不到的事情,无论是关于这两个主要人物,还是关于你在书中阐述的更广泛的风险?

我认为,当我真正探索这些风险时,情况就像我一提出一个风险,就会出现另一个风险。这几乎是因为人工智能正在融入我们生活的许多潜在方面,不仅是商业,还有教育、医疗保健、文化,所以我们可能会付出代价的方式有很多,无论是我们批判性思维能力的下降。你知道,如果你有一整代......

去学校的孩子们正在使用和依赖这些工具来帮助他们完成作业。然后,如果老师对此视而不见,那么他们进入职场后,他们的入门级职位也与这些大型语言模型一起工作,并为他们进行思考。这对下一代专业工作者意味着什么?我们该如何培训他们?他们如何成为下一代高级管理人员?

诸如此类的事情,我只是发现所有这些不同的途径,这是我在书的最后部分探讨的内容。当然,关于主要人物的一些事情让我感到惊讶。了解 OpenAI 和 DeepMind 截然不同的结构,了解德米斯·哈萨比斯以及他所拥有的这种精神背景,这让我感到惊讶。

如果他最终构建了 AGI,或者理解现实的本质和宇宙的奥秘(这是他谈论的方式),那么他可能对有一天找到上帝感兴趣。

所以这些都是让我感到惊讶的事情。是的,让我着迷的一件事是,他们两人都非常善于社交。我知道这是一种陈词滥调,但想到那些人们认为是进行编码等工作的数字意识强、超级聪明的内向者,这是一种漫画式的形象。但他们两人都是......

优秀的管理者和优秀的销售人员。我的意思是,他们是重要组织的代表人物,似乎将这些社交技能与他们明显的聪明才智结合在一起。是的,绝对是这样。我认为......

这使得他们彼此之间比不同之处更相似。我认为你可以是一个内向的人,但仍然拥有很多魅力,并且非常擅长激励人们为某个事业而奋斗。我怀疑他们两人都有一些内向的元素。德米斯就像一位前国际象棋冠军,痴迷于游戏,他一生都痴迷于游戏。他热爱音乐,对音乐充满情感。我认为他们不同之处可能在于,德米斯更具有科学思维的一面。他获得了博士学位,

山姆更注重工程方面。因此,如果你看看他们的两家公司,OpenAI 就好像是一大堆曾经在 Y Combinator 工作过的人,或者前创业公司创始人,或者前工程师。这是一个更加扁平化的结构。

而 DeepMind 则等级森严。如果你是一位科学家或博士,那么你就像公司里的摇滚明星。你可以与德米斯进行面对面交流。与他进行面对面交流相当困难。所以,尽管他们非常相似,都很有魅力,但在他们经营公司的方式上也有一些不同之处。对。所以,当我们在春天启动今年的图书奖评选时,我向过去 19 届获奖者提出了问题。

如果他们有机会再写一章,他们会添加到他们的书中什么内容。你的书是在 9 月份出版的,但这是一个发展如此迅速的领域,我认为问你这个问题仍然是相关的,如果你现在要出版第二版,你会添加什么内容?我觉得这本书的主要论点仍然基本存在。没有什么真正能推翻这个前提。所以,如果我要添加任何内容,那就是关于故事的细节。

例如,OpenAI 越来越成为一家营利性组织。我认为我们在今年夏天就能看到这一点。感觉它此后发展得更快了。但是现在已经有更多关于它的报道,尽管该公司没有公开披露他们想要前进的方向。但大量报道称这种情况正在发生。

此外,去年一些最有前途的人工智能初创公司已经被亚马逊、谷歌和微软收购。所以我觉得这已经为我们继续看到的情况定下了基调,那就是初创公司面临的真正斗争。

小型或创新型公司试图与大型公司竞争,显而易见的是,我当然会添加的是特朗普,对,新的特朗普政府,埃隆·马斯克在特朗普政府中,我认为这实际上

有点破坏了局面。人们一直在说,在特朗普领导下,我们可能会采取宽松的监管制度。但你必须记住,马斯克是一位人工智能末日论者。他创办 OpenAI 部分原因是他非常担心谷歌控制 AGI。他创办 Neuralink 是因为他希望人类能够通过这些大脑芯片进行增强,这样如果人工智能失控,我们就能领先一步。

所以我认为这不仅仅是空谈。我认为,从他所说的话来看,他似乎真的相信这一点。所以这让我觉得,我认为在特朗普领导下,我们不一定会看到对人工智能的监管被取消。对。他可能会稍微限制一下宽松监管人群的风格。是的。我的意思是,至少,

如果他废除了拜登关于人工智能的行政命令,他只会用类似的东西来代替它。对。今年的入围名单中,评委们进行了一次精彩的讨论。只是稍微揭示一下评审室的情况,对《霸权》的一个建设性批评是,

马斯克并不够突出。显然,这是在你完成这本书之后发生的事情带来的好处。但是,马斯克自己的人工智能企业 XAI,凭借其数十亿美元的资金,以及特朗普可能提供的便利......

对谷歌和微软构成威胁吗?我对 Grok 的发展速度之快感到惊讶,就其筹集资金的能力而言。快速解释一下 Grok 与 XAI 的关系。是的,Grok 是埃隆·马斯克的人工智能公司 XAI 开发的一种大型语言模型。它与 ChatGPT 几乎一样。所以马斯克有他自己的 ChatGPT 版本。它集成到......

推特中。我认为我们媒体中的许多人,当埃隆·马斯克接管推特时,我们立即看到广告商离开,

我认为我们可能低估了他在这个商业界和硅谷中某些人中的受欢迎程度,以及他仍然能够继续筹集资金的能力。因此,似乎他们正在创建的模型,即 Grok 模型,在达到与 Anthropic、其他领先的人工智能参与者和 OpenAI 相似的基准方面做得相当不错。

但是是的,他确实做得相当不错。我只是发现这些科技亿万富翁和创始人的悖论,他们如此担心人工智能对人类生存可能造成的迫在眉睫的灾难性风险。

他们认为,为了解决这个问题,他们必须构建尽可能强大的人工智能,因为他们有一种感觉,只有他们才能安全地、正确地做到这一点,因为如果其他人这样做,他们会构建错误类型的人工智能。所以我认为这一切中确实存在一种傲慢自大的因素。这就像宁愿开车而不是当乘客,即使你的驾驶本身对于任何乘客来说都可能很危险。是的,这是一个很好的比喻。你在书中提到山姆·阿尔特曼......

有一个掩体,实际上是一个掩体,我认为,不是吗?是的。他有一个地方,他准备在那里待着,准备好了净化水和防毒面具,以防事情出错,这对我来说并不完全令人放心。但这也不算罕见。有很多科技。我的意思是,彼得·泰尔在新西兰也有掩体,马克·扎克伯格在夏威夷也有掩体。他们都在购买夏威夷和所有这些气候温和的岛屿上的房产。

我想,如果他们需要飞到某个地方,远离谁知道什么。是的。所以这引出了你在书中探讨的问题。我们现在处于什么阶段

在对人工智能施加任何伦理或监管约束方面?情况是否已经无法挽回?我们是否只是到了不得不承认它已经过去,监管和伦理永远无法赶上的地步?

所以我会说,就人类如何利用这些模型(无论好坏)而言,情况已经无法挽回。我们之前谈到了新一代人对这些模型的依赖,以及这可能会对我们的批判性思维能力造成什么影响。这是一个非常软弱、模糊和抽象的后果,很难衡量。但我确实对此感到担忧。而且我确实认为这在未来 5 到 10 年内可能会发生。

至于科技公司如何设计他们的算法以使其安全、使其符合伦理,我

我认为这并不一定无法挽回,并且无法控制,因为一旦有法规出台,规定这些公司需要接受审计,他们需要更透明地说明他们为这些模型使用过的训练数据,他们需要设置所谓的安全措施,以确保减少偏差,减少涉及的安全威胁。

这些都是他们可以做的事情。他们有钱。像微软和 OpenAI 这样的公司正在花费数十亿美元用于数据中心,因此他们当然可以投资于设计更公平的算法。我说公平是因为几乎所有模型都非常非常擅长映射。

不说有毒的话。他们只是说了所有正确的话。我认为这是因为这些公司确实很关心声誉。然而,他们在偏差和公平问题上,在性别、种族刻板印象以及这些模型的安全问题上都失败了。它们实际上并不安全。因此,这两个领域是公司真正需要提高其标准的领域。

嗨,我是索尼娅·哈德森,《金融时报新闻简报》播客的联合主持人。在一个充满隐藏议程和冲突的政治分裂世界中,拥有您可以信任的新闻至关重要。每天,《金融时报》的全球记者都会提供专业、公正的见解,以便您可以自信地形成观点并做出决策。

仅限一段时间,您可以享受年度数字订阅 40% 的优惠。访问 ft.com/ftlistener 注册。所以我们几乎是在乐观地看待模型如何得到改进,并且可能会有少量约束。我的意思是,还有哪些原因?我的意思是,你的书......

对此相当悲观?我出来后感觉比进入这本书时更悲观了一些。但在人工智能的整个应用领域中,有哪些乐观的理由?是的,我认为有理由保持乐观。我认为,也许有一点悲观的原因是,当时,我们

在撰写这本书时,人们对这将如何对人们产生积极的变革作用充满了兴奋、炒作和信念,而对偏差和安全措施等问题关注不足。但我认为绝对有理由保持乐观。我认为我们显然看到了来自欧盟的法律。这不仅仅是欧盟的《人工智能法案》。

我相信《数字服务法案》解决了社交媒体的危害,而《数字市场法案》则是一项反垄断法,旨在——

只针对最大的参与者,并解决最大参与者的反竞争行为。在某种程度上,这些法律也可以解决我们在人工智能中可能发现的一些问题。但《人工智能法案》本身,我认为设计得也相当好。它并非试图规范技术本身。它并没有说你应该这样构建模型。它关乎进行风险评估和

在模型上,以确保它不会产生可能伤害他人或被滥用的结果。它促进了这些模型构建者的更大透明度。所以我认为这是保持乐观的一个理由。不幸的是,这项法律要过一年半或两年才能生效。所以在......在人工智能领域,这是一段很长的时间。自 ChatGPT 推出以来已经两年了,看看有多少人在使用它。我们有 3 亿用户

ChatGPT 的每周活跃用户。所以它已经成为人们生活中很大的一部分。是的。作为图书奖颁奖公告的预热活动的一部分,我与雪莉·库图等人一起举办了一个网络研讨会,讨论了人工智能。雪莉·库图是一位科技企业家和天使投资者,也是我们今年的评委之一。她非常坚定地认为,另一方面存在一种风险,那就是人们对人工智能的使用过于......

谨慎。她特别是在教育方面提到了这一点,她认为实际上在教育中安全有效地使用人工智能具有巨大的潜力。我只是想知道这里的平衡点在哪里,因为人们读了一些东西后可能会认为我们必须控制住它

让我们阻止它进一步发展。与此同时,我个人确实发现我经常在很多事情上使用它。我可以看到它正在增强我的未来职业生涯,以及我可以在工作中使用它的方式。你如何取得平衡?好吧,我认为这取决于人们如何能够

继续使用这些服务,以及我们在未来三到五年内观察到什么?例如,这对就业市场有什么影响?如果像对冲基金和律师事务所这样的公司主要使用大型语言模型技术来完成入门级工作(他们正在做的事情),那么对于从事这些工作的毕业生来说意味着什么?他们必须做什么样的工作?所以

很难说这是好是坏。就像你说的那样,它确实可以加速你的职业发展。问题是,我们会付出什么代价?我认为用社交媒体来预测这一点非常困难,因为当社交媒体首次出现时,它......

它是一种非常有用的工具,一种社会工具。它几乎就像我们的新基础设施一样。人们谈论它在阿拉伯之春中对民主支持者的重要性。我们只看到了好处。但直到几年后,我们才开始看到这些意想不到的后果。我认为很大一部分......

这是这些服务背后的商业模式。所以现在,大型语言模型是订阅模式,但其中一些正在转向广告模式。OpenAI 正在探索广告模式。Perplexity 显示广告。这让我有点担心,因为例如 Facebook 在很多方面变得有害的一个原因是它有一个广告模式,而公司有动力

尽可能长时间地让人们留在网站上,让我们保持参与。从本质上讲,他们永远不会使用这个词,让我们上瘾。我们检查得越多,我们查看广告的机会就越大。如果一家公司,例如 Character AI,这是一家非常成功的人工智能公司,它制作这些 AI 头像,我很好奇会发生什么。它经常被青少年用来聊天。你与某个名人的 AI 版本或漫画人物交谈,

孩子们,我采访过使用这个应用程序的孩子,他们说他们有时每天会使用它三到五个小时。是的,没错。他们有点上瘾了。

现在,想象一下,如果 Character AI 开始显示广告,那么它就有动力继续这样做。而且 Character AI,我已经与该公司创始人谈过话,目标是人工智能了解用户,所谓的上下文窗口变得无限大。上下文窗口是指人工智能记住的内容。现在,大约是 30 分钟。但他想,如果他们能记住他们与你进行过的每一次对话怎么办?他们比任何人都更了解你。

想象一下,当人们与这些 AI 的关系,而它们并不是真正的人际关系,因为它不是一个真正的人,但如果人们真的对它们产生依恋怎么办?如果背后有一个广告模式,那么这最终可能会对用户造成一些负面影响,并且供应商会更难......

考虑用户的福祉,因为他们的商业模式取决于这个人尽可能长时间地使用他们的应用程序。你在书中已经列举了一些听起来相当令人毛骨悚然的例子,说明人类与机器之间的一些相当令人毛骨悚然的关系,其中人们已经

变得依恋,实际上爱上了机器。这是在早期阶段,正如你所说,你还没有为它添加任何广告。是的,是的,没错。我还记得我与人交谈过,我不会说出这个人的名字,但我与一位构建这些机器的初创公司创始人交谈过

聊天机器人可以与人类用户建立这种情感联系,并且 50% 或更多的用户将 AI 视为浪漫伴侣。数百万人都使用过这项服务。那个人,我当时正在与他们交谈,比如,如果像你这样的应用程序像社交媒体一样针对参与度进行了优化,那会怎么样?他们的回答是,那永远不会发生。如果发生这种情况,那将是一件非常糟糕的事情。

但谁知道呢?我们已经看到其他聊天机器人制造商正在关注广告模式。所以这是一个奇怪的过渡,但你在工作中或你的个人生活中如何使用人工智能?实际上,当我第一次使用它时,我有点琢磨着,这东西作为一名作家到底有多好?对我个人来说,就我自己的标准而言,它不是。

足够好。完全同意。这有点像,我有点低估了它,但就像一个非常好的同义词词典或短语一样,我经常将其用于个人事务,尤其是食谱、出行、与孩子们一起做的事情的想法。在很多方面,它已经取代了谷歌。是的。我认为大约 50% 的谷歌搜索都是为了获取信息。然后大约 20% 到 30% 是交易查询,例如......

耐克鞋,你知道,低于 50 英镑或其他什么。这些才是对谷歌真正重要的搜索。我认为人们在大型语言模型上进行的搜索并非如此。所以,在某种程度上,我认为它们目前还不是对谷歌的巨大威胁,仅仅是因为搜索类型,至少对它们的收入而言并非如此。但我认为这最终会侵蚀该模型。即使它......

谷歌低估了人工智能的使用,将其用于搜索。我的意思是,以一种奇怪的方式,它实际上并不适合搜索。是的,这是一种经典的机器学习应用。但谷歌当然现在有了他们的 AI 概述,我认为这就像,我当然看到了蚕食他们自身商业模式的潜力。你不会超过 Gemini 响应的第一段。你为什么要这样做呢?有趣的是,这些响应有脚注和链接,但人们会点击它们吗?

我的意思是,我认为唯一可以保证的是,谷歌可能正在衡量这些东西。所以,如果它突然消失,我们会意识到,实际上它可能蚕食了从他们那里赚取更多钱的东西。正如你的书中指出的那样,这就是底线。是的,绝对是这样。我认为当 ChatGPT 推出并与微软的搜索引擎必应合作时,这很有趣。当时,这可能是大约一年半以前。

许多人认为,这就完了。谷歌死了。谁能想到?小小的必应将接管一切。但实际上,一年半后,就某个人的市场份额而言,它几乎没有改变。我使用了大约三个星期。对,是的。哦,现在会好多了。然后我想,不,我会回去。是的。谷歌添加 AI 概述可能确实有所帮助,但我认为这并没有太大帮助。我认为主要的事情是谷歌的根深蒂固程度。

这些服务已经深深融入我们的生活。从字面上看,用谷歌搜索某物已经成为一个动词。所以我认为这只是说明了这些公司的规模及其主导地位。这就是为什么反垄断监管机构现在试图解决这个问题。

它们已经深深地融入我们的日常生活和基础设施中。对。所以我确实使用人工智能来集思广益。它提出的第五件事可能是连我自己都没有想到的追求故事或解决问题的方法。但我应该向听众保证,《金融时报》严格禁止

禁止其记者通过人工智能进行任何写作。但我没有将此事提交给我们的各个委员会。显然,我必须问人工智能要问你什么问题,因为这就是重点。我专门要求它提出一个它预计你以前从未回答过的不寻常的问题。而且

所以这是这个问题,它本身几乎就是一个完整的播客,我甚至不确定我是否知道该如何回答这个问题。ChatGPT 问道,如果人工智能要在 100 年后撰写一部关于人类的权威历史,它可能会有什么样的视角或偏见?这部历史与今天人类撰写的人类历史有何不同?

这是一个相当好的问题,实际上。哦,这是一个好......我的天哪。但这几乎是一个无法回答的问题。存在一定程度的推测。我的意思是,100 年后是一段很长的时间。是的。我认为如果是在 10 年后,它会与人类撰写的内容非常相似,因为正如我在书中讨论的那样,而且你可能已经对此反复谈论过,科学......

互联网上存在的许多偏见都被融入到这些模型中。因此,你知道,历史,将非常关注男性和白人男性。我确实想知道 100 年后,如果人类真的努力去做,那会是什么样子

我的意思是,也许到那时情况已经发生了很大的变化。你知道,我们将生活在一个稍微更加公平的社会中。那么,也许人工智能在100年后撰写的任何内容都将反映这一点。我对未来持乐观态度。

所以我希望它实际上会是一部相当,我不知道,相当鼓舞人心的读物,希望如此。我不是那种以这种反乌托邦的方式看待未来的人。我很抱歉你读完这本书后感到有点沮丧。但我认为,我认为我们最终会解决这些问题。这是一个很好的结束时刻。帕米·奥尔森,《霸权》一书的作者。非常感谢您加入我们。谢谢。感谢收听本周的节目。

如果您想了解更多关于帕米这本书或2024年奖项中其他入围作者的信息,请查看我们节目说明中的链接。Behind the Money 由我,米凯拉·滕德拉主持。萨菲娅·艾哈迈德是我们的制作人。声音设计和混音由约瑟夫·萨尔塞多完成。原创音乐由汉内斯·布朗创作。托弗·福雷斯是我们的执行制片人。谢丽尔·布鲁姆利是全球音频主管。感谢收听。下周见。

注意反复打盹的人,请将您的闹钟设置为奇怪的特定睡眠问题促销。我们为您准备了合适的床垫,并提供一年的价格保证。那么,您会在哪里寻找完美的床垫呢?在一家小型床垫店或床垫仓库?访问mattresswarehouse.com。嗨,我是索尼娅·哈德森,FT新闻简报播客的联合主持人。在一个充满隐藏议程和冲突的政治分裂世界中,拥有您可以信任的新闻至关重要。

每天,金融时报的全球记者都会提供专业、公正的见解,以便您可以自信地形成观点并做出决策。仅限一段时间,您可以节省年度数字订阅费用的40%。访问ft.com/ftlistener注册。