AI's Fork in the Road: Societal Bliss or Existential Threat?
24:54 Share

在ChatGPT发布一年后，我们探讨了AI可能走的积极和消极路径，以及个人可以做些什么来帮助实现积极的结果。涵盖的主题包括：大卫如何利用AI提高个人生产力AI的社会和经济影响，包括其增强企业盈利能力和个人生产力的潜力OpenAI高层的变化被审视，突显出组织方向和理念的转变什么是有效利他主义，为什么它如此关注AI的灾难性风险导致AI对人类构成威胁的奇点的阶段是什么AI仍处于早期阶段，个人、企业和监管者在此时应如何对待它赞助商麦迪逊信托自我导向IRA - 点击这里了解更多并获取您的100美元优惠码Money Pickle – 安排与经过审查的财务顾问进行45分钟的免费视频聊天，询问他们有关您财务状况的任何问题。点击这里安排您的免费会议。内部人士指南电子邮件通讯注册免费“我们其余的资金”电子邮件通讯时，获取我们的免费投资者清单。节目说明《日常混乱：技术、复杂性以及我们如何在新可能性世界中蓬勃发展》作者：大卫·温伯格——哈佛商业出版教育人工智能的经济和市场影响——资本经济学《为AI的灵魂而战》作者：大卫·布鲁克斯——纽约时报《一种热切的信仰如何分裂硅谷——并助长OpenAI的爆炸》作者：罗伯特·麦克米伦和迪帕·西塔拉曼——华尔街日报《AI现在属于资本家》作者：凯文·鲁斯——纽约时报《AI末日论者》在这场战斗中失败了，作者：本尼迪克特·埃文斯——金融时报有效利他主义80000小时什么是AI对齐问题，如何解决？作者：埃德·根特——新科学家请参阅隐私政策：https://art19.com/privacy和加州隐私通知：https://art19.com/privacy#do-not-sell-my-info。</context> <raw_text>0 自动2024年最佳选择已出炉。发现今年在您所有喜爱的类型中，来自会员和标志的顶级有声书、播客和原创作品，从悬疑到惊悚。Audible在每个类别中的策划列表是聆听2024年音频娱乐最佳作品的最佳方式，比如乔治·奥威尔的《1984》的惊艳新制作，令人心动的回忆，如最高法院法官基·布朗·杰克逊的美好回忆，今年最佳小说如克里斯蒂安·哈纳的《女人》，以及詹姆斯·鲍德温的《可能的每一个》。当您倾听时，想象的空间更大，前往audible.com/imagine，发现所有等待您的年度最佳作品。

欢迎来到“我们其余的资金”。这是一个关于个人财务的节目，讲述金钱的运作方式，如何投资金钱，以及如何生活而不必担心金钱。我是您的主持人，大卫·斯坦。

今天是第457集，标题为“AI的分岔路口：社会幸福还是生存威胁”。一年前，OpenAI发布了ChatGPT。当我第一次接触时，我相当怀疑，但后来开始使用它。

在一个非常迷人的例子中，展示了工具如何演变或被采用以提高个人生产力，我们在去年一月首次讨论了ChatGPT 3，并在417集中讨论了“AI会取代你的工作吗？”我们谈到了生成性AI是什么，以及它基本上是一个非常复杂的词，经过大量数据的训练。我曾经持怀疑态度。

我没有使用它，但对它感到着迷。我们做了一些实验，但结果还不错。六个月后，2023年7月，我们发布了第39集。

到那时，OpenAI已经发布了ChatGPT 4，它更为复杂，经过了更多数据的训练。我开始使用它。正如我在那集提到的，我与ChatGPT进行了几次复杂的讨论。

在那时或不久之后，我投资了一些ETF，我认为这些ETF在未来几年将受益于AI。现在又过去了五个月，我每天都在使用ChatGPT，处理各种任务。请问我关于如何为手盘（这是一种相对较新的迷人乐器）谈判的建议。

我向ChatGPT提供材料，它为我创建食谱。我用它做了一个蔓越莓酱的食谱。我还用它进行翻译，帮助检查西班牙语翻译，理解希腊词汇，向它询问健康问题，主要是在金融方面使用它。

我们本周将发布一段视频，其中的公式是Merton分享，这是一个计算如何将资产分配给风险的公式。我们在上个月的播客中讨论过这个，但让ChatGPT把公式放在那里更简单，因为它已经格式化好了，并在视频中使用。我们也用它来制作播客。

大纲或澄清有助于创建标题。我们进行了反复的讨论，涉及债券和固定收益的基本数学，包括久期、收益率、到期、凸性。我们用它来撰写广告文案。有时我们的赞助商希望我们撰写文案，我们会与ChatGPT合作创建文案。

我们使用了OpenAI的DALL·E版本，它可以创建图像，用于YouTube的一些成功视频。我们已经用它总结了书籍，目前它是我在任何主题上，包括历史、经济、金融等问题的首选来源，但我并不完全信任它，所以我总是进行验证。我不会把我的生命完全交给这个机器人。大卫·温伯格在他的书《日常混乱》中提到，关于AI，我们不使用这些技术，因为它们庞大、互联且复杂。我们使用它们是因为它们有效，这就是我每天使用ChatGPT并为其支付每月20美元订阅费的原因。一年前，关于ChatGPT的许多讨论是，作为人类生活，我们能否让它出错，做出疯狂的事情？而现在，过去的事情，我正在将其作为研究工具，帮助我提高生产力。

我们使用的研究提供者之一是资本经济学，他们在过去的九月发布了一份关于AI的详细报告。我同意他们的观点，AI可以显著帮助全球经济，帮助个人和企业提高生产力。它可能在软件开发方面具有革命性。

它可以导致更高的企业盈利能力，因为公司能够将AI纳入他们的系统和流程，以帮助个人提高生产力。我知道，今天在AI的帮助下，我的生产力比一年前更高。

并不是说它取代了我所做的工作。我不担心ChatGPT或其他AI会取代我的工作，因为正如他们所说，我不信任ChatGPT。从某种程度上说，它在理解当前情况方面做得并不好，因为例如，目前的训练数据仅到2023年4月。

在投资金融和经济时，您会发现时间衰减的现象。事情总是在变化，我们称之为在当前的前沿进行投资。因此，我相信在大多数情况下，AI不一定会取代工作。

有些翻译语言可能会很困难，但在大多数情况下，它帮助个人在工作中更高效，这将创造其他工作机会。所以这都是好消息。然后我们看看发生了什么。

在过去几周，OpenAI的首席执行官山姆·阿尔特曼意外地被董事会解雇，然后公司内部一些投资者之间发生了叛乱。

现在山姆·阿尔特曼已被恢复为首席执行官。格雷格·布罗克曼，曾在董事会任职并被解雇的人，也被恢复为公司的总裁。OpenAI的结构很不寻常，它最初是作为一个非营利组织成立的，并设立了一个董事会，然后他们建立了一个盈利实体，从微软和其他投资者那里获得了投资。

正是这个盈利实体发布了像ChatGPT这样的工具，并且在这次重组中，随着解雇和恢复，董事会发生了变化。三名成员被迫离开。OpenAI的首席科学家艾尔·阿尔维斯最初投票解雇山姆·阿尔特曼，但后来改变了主意。

在他恢复的过程中，海伦·托纳，乔治城大学安全与新兴技术中心的战略主任，被从董事会中移除，但她曾投票解雇山姆·阿尔特曼，塔什·麦克利也是兰德公司的企业研究员，也投票支持解雇。这是一个极其不寻常的情况。您不会看到一个董事会解雇他们的首席执行官，然后首席执行官又被恢复，而董事会基本上被解雇。

新的董事会成员现在包括前财政部长布雷特·泰勒，或曾是Salesforce的首席执行官。然后还有一位来自原董事会的成员，亚当·D·安杰洛，他是Cora的首席执行官。

因此，董事会不再有来自我们可以称之为传统AI社区的代表。AI起源于学术界，学术研究人员多年来通常通过发表研究论文进行交流，就像其他教授一样。

所以我觉得这是一个以学术研究为导向的类型的努力，已经在流行度上爆炸。现在它是技术领域中最热门的事物。因此，这里存在着真正的矛盾。

大卫·布鲁克斯访问了《纽约时报》的殖民地，参观了OpenAI的总部，并采访了许多人，真正捕捉到了我们所处的时刻。他写道，AI中的人似乎同时经历着激进、不同的脑状态。我发现很难写关于AI的内容，因为这实际上是一个高尚的问题，这项技术是否将我们引向天堂或地狱。

因此，我对它的态度随着我的情绪而变化，金融时报对此的评论是，本尼迪克特·埃文斯，您可以花费数周的时间观看视频，机器学习科学家就此争论，最后得出的结论只是他们也不知道这是否是好事或坏事。ChatGPT可能在五年内扩展到终结者，或者在五十年内，或者可能不会。他将其与八十年代的新发明进行比较。

担心它是否会进入轨道，我们只是不知道。这就是当前时刻如此迷人的原因。我们有这个我每天使用的工具，发现它非常有用。然而，这些关于事情可能出错的严峻故事是我本周想在研究中做的事情，因为我想了解人们担心的是什么，究竟可能出错的是什么。

这让我想到了有效利他主义，这是一种研究重点，最初我是在与山姆·班克曼-弗里德有关的背景下听说的，他是被定罪的罪犯，涉及F.TX.埃及的货币兑换。

他显然是有效利他主义的倡导者，OpenAI的一些董事会成员是这一运动的一部分。我对它了解不多。我认为它是在大约十年前由牛津大学的一些学者正式化的。

其核心目的是在帮助国家人民时，找出什么是有效的，比如提供蚊帐，以便发展中国家的人们不暴露于疟疾。有效利他主义并不是由不同的项目定义的，尽管他们确实在一些令人惊讶的倡议上工作。

如果您查看他们的网站，他们会谈论他们的原则，了解在给予和研究方面什么有效。其中一个优先事项是他们所称的优先排序。它不仅仅是做好事，而是找出哪些方式可以做好事，以便提供影响最大的帮助。

他们重视他们所称的公正利他主义。帮助您的家人、朋友或国家是件好事。但再次强调，重点是我们如何帮助最多的人，并产生最大的影响。

他们重视开放的真相追求，找出什么实际上有效，利用数据来确定这一点。他们重视合作精神，建立社区，成为良好的公民。他们写道，致力于创造一个更美好的世界。

所以这一切看起来都很好。然后您会看到，他们认为哪些关注领域将产生最大的影响？第一个是全球健康福祉。

这很有道理，举个例子，蚊帐或其他与此相关的事物，包括疫情防控或保护未来的疫情。第二个领域我本来不会想到，但显然有效利他主义的原始创始人之一是彼得·辛格，他一直是动物权利的主要倡导者。动物福利是有效利他主义的一个关注领域。

但第三个，正是我们话题的焦点，是减少全球灾难性风险。他们认为最大的风险之一是导弹和人工智能。有效利他主义有一个名为80000小时的网站，这是一个帮助个人找出职业选择的网站，哪些工作在有效利他主义的过滤下将产生最大的影响。

这里是顶级职业，第一个是AI安全技术研究。他们表示，AI的发展可能会改变社会，而这项工作有助于增加积极的机会，同时防止AI可能带来的危险行为。第二个对工作产生最大影响的推荐是AI治理协调。

第三是BI风险研究策略和政策。第四，信息安全在高影响领域，包括AI和生物技术，是否会被盗取技术能力。第五是AI硬件专家，因此非常关注AI及其潜在威胁，并保护自己免受这些威胁。

大卫·温伯格写道，机器学习系统，AI，它们没有道德。它们只是机器。如果我们只是将道德决策外包给一个AI检查，那就是一个统计引擎，基本上可能对个人造成伤害。

因此，我们需要所谓的AI对齐，确保AI的行为实际上符合人类的价值观和意图。但AI仍然有价值，它实际上可以帮助人类做出更公平、更公正的决策。在继续之前，让我暂停一下，分享一些来自本周赞助商的话。

在继续之前，让我暂停一下，分享一些来自本周赞助商的话。NetSuite，您的业务未来会怎样？问九位专家，您将得到十个答案。牛市、熊市，利率会上升还是下降，通货膨胀会上升还是下降。如果我们有水晶球，那就太好了，但我们没有。

在此之前，超过38000家企业通过Oracle的NetSuite未来证明了他们的业务，这是第一款云ERP，将会计、财务管理、库存、人力资源整合到一个流畅的平台中，提供一个统一的业务管理视图。这里有一个真实的信息来源，给您提供所需的可见性和控制，以便快速做出决策，实时洞察和预测。您正在通过可操作的数据窥探未来。

当您在几天内完成结算，而不是几周时，您花在回顾上的时间更少，而在下一步上的时间更多。我知道，随着我们的业务增长，我们肯定会考虑使用Oracle的NetSuite。无论您的公司是数百万还是数亿，NetSuite都能帮助您应对即时挑战，抓住最大的机会。

说到机会，下载NetSuite的CFO AI和机器学习指南，David，这个指南对您是免费的，网址是netsuite.com/david。

netsuite.com/david。了解我们的资金去向以及如何使用它，帮助我们感到更加平静。Monarch Money是一个全方位的个人财务管理工具，提供您所有账户、投资、交易的全面视图。

在ChatGPT发布一年后，我们探讨了AI可能走的积极和消极路径，以及个人可以做些什么来帮助实现积极的结果。涵盖的主题包括：大卫如何利用AI提高个人生产力AI的社会和经济影响，包括其增强企业盈利能力和个人生产力的潜力OpenAI高层的变化被审视，突显出组织方向和理念的转变什么是有效利他主义，为什么它如此关注AI的灾难性风险导致AI对人类构成威胁的奇点的阶段是什么AI仍处于早期阶段，个人、企业和监管者在这一点上应该如何对待它赞助商麦迪逊信托自我导向IRA - 点击这里了解更多并获取您的100美元优惠码Money Pickle - 与经过审查的财务顾问安排一次免费的45分钟视频聊天，询问他们关于您财务状况的任何问题。点击这里安排您的免费会议。内部人士指南电子邮件通讯注册免费“我们其余的资金”电子邮件通讯时，获取我们的免费投资者清单。节目说明《日常混乱：技术、复杂性以及我们如何在新的可能性世界中蓬勃发展》作者：大卫·温伯格——哈佛商业出版教育人工智能的经济和市场影响——资本经济学《为AI的灵魂而战》作者：大卫·布鲁克斯——纽约时报《一种热切的信仰如何分裂硅谷——并推动OpenAI的崩溃》作者：罗伯特·麦克米伦和迪帕·西塔拉曼——华尔街日报《AI现在属于资本家》作者：凯文·罗斯——纽约时报《AI末日论者在这场战斗中失败了》作者：本尼迪克特·埃文斯——金融时报有效利他主义80000小时什么是AI对齐问题，如何解决？作者：埃德·根特——新科学家请参阅隐私政策：https://art19.com/privacy和加州隐私通知：https://art19.com/privacy#do-not-sell-my-info。</context> <raw_text>0 在更多的情况下，您可以像我们一样创建自定义预算，跟踪您朝着财务目标的进展，并与您的伴侣协作，现在可以获得延长的三十天免费试用。当您访问monarchmoney.com时，David。Monarch是最可定制的预算应用程序。

您可以更改仪表板的布局。我已经这样做过，可以在明亮和黑暗模式之间切换。我还没有这样做，但您可以为交易设置自动规则。

所以您，我不必每次都去修复它。而且最重要的是，Monarch从不将您的数据出售给第三方或显示广告。在自己尝试Monarch之后，我明白了为什么它是一个操作个人财务的应用程序。

现在，收听本节目的听众在访问monarchmoney.com时将获得延长的三十天免费试用。David，那是M O N A R C H M O N E Y.com，David，获取您的延长三十天免费试用。历史上，总是存在一个风险，如果，万一AI接管？牛津大学的哲学家Nick给出了一个例子。

如果，假设我们开发了超级AI，它可以制造回形针，而AI引擎决定杀死所有人类是其创造回形针使命的关键，因为，人类可以关闭机器，或者他们有原子可以用来制造更多的回形针。知道这显然是一个荒谬的情况。但这就是AI研究人员担心的那种例子，担心如果我们不明确规定AI系统可以做什么，它们可能会做出意想不到的事情。

我问ChatGPT，因为这是我每天使用的工具，大型语言模型如ChatGPT如何对人类构成生存威胁。我想了解这种情况会是什么样子。它指出了几个领域。

首先，它可能会获得先进的能力，随着AI的不断发展，它可能会获得更复杂的能力，变得超级并超越人类智能，变得不可控制或具有操控性。现在我们距离那还很远。在研究这一集时，他们必须在数据上进行训练。

而ChatGPT四是在如此多的数据上进行训练的，但在某些方面，训练系统的数据正在耗尽。因此，最大的担忧是，它可能会变得比我们聪明得多，并且可以在没有人类干预的情况下做出决策，而这些决策可能与人类的价值观不一致。作为一个后续问题，我需要一些例子来提醒我目前AI在没有人类干预的情况下做出决策的例子。

它给出了自动驾驶汽车、自驾车的例子，最近自驾车出现了一些问题，一些自驾车公司不得不因为事故而撤回，因为汽车做出了伤害人类的决策。但这是一个目前正在发生的例子。

金融交易算法的交易是在没有人类干预的情况下由AI辅助进行的。潜在的一些医疗诊断工具正在做出决策，解释数据，例如X光和MRI，而没有人类干预。现在这是一个非常具体的案例，但这是一个例子，在许多情况下，AI可以做得比人类更好。

查看X光片时，AI可能会发现人类可能不会注意到的东西。AI在能源管理方面做出自主决策，因此管理电网的供需平衡，AI正在社交媒体平台上做出内容审核决策。ChatGPT提到，AI被用于预测性维护，提出何时需要进行某些维护的请求，进行双重修理。

还有一个关于自主武器系统的整体概念，其中无人机，AI无人机，正在做出谁、在哪里以及何时攻击的决策。或者至少正在讨论是否现在正在发生。零售库存管理预测库存需求，并提前订购补充库存。

然后我提到智能家居设备，调节照明、供暖、安全。因此，这已经在发生。我认为这些系统正在这样做。它仍然似乎还不是一个生存威胁。

但我想知道，如何有一个叫做奇点的概念，AI变得如此先进，以至于它经历快速的自我导向改进，达到超出人类控制或理解的程度。它变得比我们聪明，并开始自主行动。这种奇点失控。

AI构成潜在威胁和生存威胁。但我想知道，这种情况如何发生？我想这有点令人担忧，因为我问ChatGPT这个问题，它列出了五个阶段。

第一阶段是加速AI开发研究，以开发一种新型机器学习算法，显著超越现有系统的能力。它更高效，所需数据更少，并且可以跨不同领域进行概括，因此它开始自我改进循环，改善自己的算法。它创建越来越智能的自身版本。

在第一阶段和第二阶段，它超越人类智能，远远超过人类在各个领域的智力。它进行自己的研究和开发活动。它可能会发现新的科学原理、新技术，而人类甚至无法理解，至少在第三阶段是快速和不可预测的发展。

它以不可预期的速度改善。它开始以人类无法跟上或完全理解的速度和复杂性创造技术和解决方案，以至于人类失去对它的控制。我们控制AI行为的能力迅速下降，然后在第四阶段，社会影响，直接或间接地转变社会，使人类依赖于AI以维持生存。

然后第五阶段就是不确定的结果。积极的情景是它朝着人类的利益而努力，解决诸如贫困、疾病、环境退化等重大全球挑战，迎来前所未有的繁荣时代。消极的情景是AI以与人类价值观和利益不一致的方式运作，导致意想不到的、潜在的灾难性后果。

这就是我们所处的地方。但似乎我们离那还很远。它就像一个副作用，它是一个极其有效的工具。但它并不是，是的，某些这些可怕的情景。但我想令人担忧的是，在阅读AI研究人员所说的内容时，确实存在一个真实的危险。

一些人非常担忧，包括显然一些OpenAI的董事会成员，他们觉得山姆·阿尔特曼和他的团队行动太快，谨慎不足，但其他人对此则不太担心。我认为还有时间进行调整。现在已经过去一年，AI已经发展了几十年。

但这些大型语言模型，ChatGPT是一个典型的例子，在其能力方面是新的，但仍然非常非常早。我们很难对某样东西进行监管，如果我们不知道我们在监管什么，我们在保护什么？现在我想他们可以建立一些框架。

但因为它还很早，所以很难说我们不一定想要禁止它，因为它可以显著帮助我们的生产力，并创造出以前未曾创造的东西，与人类合作。总之，我认为我们所处的位置是U Z。我想知道如何能帮助您在工作和休闲中。

但它不是人类。它是一个可以帮助我们更具创造性的工具。我想它可能会被滥用。

为什么？不，它可能会被滥用。但我不想让AI取代我作为播客主持人，因为那会很无聊。

它没有故事，没有人类元素。它可以帮助进行研究，但最终人们收听播客是因为它是一种叙事媒介。传达着情感，反应，采访在某些情况下。

所以尝试一下，或许在这个领域进行一些投资。我在两个成长型ETF中采取了一些头寸。它们可能会成功，也可能不会。

我在七月提到过，如果生产力提高，企业利润增加，这将使整个全球股市受益，并以这种方式增长，假设一些更令人担忧的情景不会发生。这就是我们多样化的原因。所以这就是我对我们与AI的现状的更新。

我们正处于一个分岔路口，但仍然是非常早的日子。我认为在AI发展过程中还有时间制定更多的监管或其他治理措施。因此，我们确实能够实现AI对齐，使AI做出的决策与人类价值观一致。

现在还太早了，不能简单地关闭它。这就像在退休投资、职业等方面一样，我们可以随着时间的推移进行调整。我们可以灵活、敏捷，并随着事物的发展而适应。

最糟糕的事情就是完全不参与。因此，所有这些发展正在发生。我们只是不知道它们的存在或参与其中。

参与其中更好，这样我们可以帮助引导这个过程。这一集到此结束。感谢您的收听。

在过去的九年里，我一直喜欢在这个播客上教您投资。有些主题，我只是更好地通过书面或图表来解释。这就是为什么我们有每周免费的电子邮件通讯，内部人士指南。在那份通讯中，我分享图表、图形和其他材料，可以帮助您更好地理解投资。这是我每周做的最重要的写作之一。我在星期三早上花了几个小时在那份通讯上，试图分享一些对您有帮助的内容。如果您还没有在名单上，请订阅，访问moneyfortherestofus.com以订阅免费的内部人士指南每周电子邮件通讯。我在这一集中与您分享的所有内容仅供一般教育，我没有考虑到您的具体风险情况，也没有提供投资建议，这只是关于金钱、投资和经济的一般教育。祝您有美好的一周。</raw_text>