Deep Dive
Shownotes Transcript
嘿，大家好。在我们开始之前，我们想让你们知道，我们正在招聘CHT的新慈善总监。明年对我们来说将是绝对关键的一年，我们将塑造人工智能如何在整个社会中推广。我们的团队正在非常努力地开展公众意识、政策以及技术和设计方面的干预工作。因此，我们正在寻找能够帮助我们应对这一挑战的人才。如果您有兴趣参与我真正相信是我们时代最重要的使命之一，请申请。
您可以在我们的节目说明中或humanetech.com/careers找到职位发布。谢谢，节目开始。大家好，我是Eza。
我是Tristan。2024年就要结束了，是时候进行我们一年一度的“问答”节目了。和往常一样，我们收到了很多很棒的问题。我想让你们知道，我们阅读了每一个问题，但我们只有时间谈论其中一部分。在我们开始之前，恳请大家支持我们在人文科技中心所做的工作。我们进入2025年时势头强劲，我们作为组织影响变革的能力也增强了。
数十亿美元正投入到尽可能快地、不道德地将人工智能推进到我们社会的各个角落。而且，与世界需要改变和引导的资金相比，我们的预算非常少。通过支持我们的工作，您可以帮助我们提高公众意识，推动更明智的公共政策以及您在这个节目中听到我们谈论过的人文技术设计干预措施。
以及支持非常重要的诉讼，例如针对谷歌和Character AI 提起的诉讼，您也在节目中谈到过。因此，我们希望您考虑在年底捐款以支持我们的工作。每一笔捐款，无论大小，都有助于确保我们能够继续实现我们的目标，创造一个更人道美好的未来。您可以在humanetech.com/donate支持我们。现在，让我们进入今天的节目。让我们开始吧。第一个问题来自一位名叫马克的听众。
您关于与动物交流的研究最新进展如何？Eiza，我猜你想接手这个？我以为你要接手这个，Eiza。非常感谢你的这个问题。因此，正如一些听众可能知道的那样，我还有另一个项目，叫做地球物种项目，我们正在使用人工智能……
打破物种间的交流障碍，看看我们能否学会理解鲸鱼、海豚和猩猩的语言。我们刚刚训练了第一个可以查询的大型基础模型。因此，它开始有点像社会生物学家和动物行为学家的AI研究助手。
我们一直在进行的一项研究是，我们一直在与西班牙北部的这些乌鸦一起工作。通常情况下，乌鸦会像父母一样抚养它们的家庭。但无论出于何种原因，这些乌鸦很特别，它们会进行集体育儿。这有点像公社或集体农场。它们聚集在一起，奇怪的是，它们有自己独特的方言。
它们有自己独特的词汇来进行这种集体行为。它们会带外来成年乌鸦来教它们新的词汇。然后，它们将开始参与这种文化。因此，我们合作的研究人员在鸟类身上装有背包，我们可以看到它们的移动方式、它们发出的声音。举个例子来说明这个问题有多么具有挑战性，就像
就像人类一样，每只乌鸦都有不同的个性。无论出于何种原因，这只乌鸦和其他乌鸦都不喜欢它。因此，每当其他乌鸦回到巢穴时，它们都会发出这种特定类型的叫声，告诉幼鸟，准备好喂食了。幼鸟会出来准备喂食。但其他成年乌鸦不喜欢这只特殊的乌鸦。因此，它必须在降落之前开始发出这种叫声，以警告幼鸟它要降落然后给它们食物。它有一种飞速而过的喂食方式。
我们开始能够做到，比如我们的模型开始能够弄清楚所有这些东西。这真的很棒。最后我要补充一点，我们刚刚发布了第一个大型基础模型，您可以使用文本提出问题，例如这个声音中有多少动物？它们多大年龄？它开始做疯狂的新兴的事情。它可以，
找出动物是什么，找出它的名字，即使它以前从未听说过这种动物，这有点疯狂。你是说找出它的名字，就像用动物的语言？你是说找出它的拉丁名字，用英语？这是一个很好的澄清。不，它们找出它的拉丁名字，它的英文名字。哇。是的。
所以你听到动物的声音，你不知道它是什么，然后物种间项目的基础AI模型会用拉丁文命名是什么。正确。即使这种声音不在训练集中。该模型以前从未听到过这种声音。这太疯狂了。是的，太疯狂了。
让我着迷的一件事是你对我说过的话，那就是在我们真正知道自己在说什么之前，我们将知道如何与动物交谈。然后，这与我们社交媒体工作的一些有趣方面有关。你想谈谈这个吗？是的，所以这是核心情节转折，那就是在我们完全理解自己对它们说的话之前，我们将能够流利地与动物交流。
因为什么是人工智能？人工智能本质上是一个模仿者和翻译者。因此，你给它提供了大量动物说话的数据，它学习模仿动物在说什么。我们不知道它在说什么。只是它就是这样。我们观察过一个实验，当时我们在船上
在阿拉斯加，研究人员有一天记录了鲸鱼的声音，第二天又播放了它。鲸鱼有点疯狂，它好像在回应。我们认为发生的事情是，我们相信，我们不是100%确定，研究人员记录了鲸鱼的问候语和它的名字，并且
我们正在把它播放给鲸鱼听，它在船上四处弹跳，它感到困惑。我认为，Tristan，你感兴趣的地方在于，想象一下，我们不小心只记录了鲸鱼攻击的声音，然后我们只是把鲸鱼攻击的声音播放给鲸鱼听，但实际上并不知道自己在做什么。我们只是在观察行为。你做了这样的类比。
是的，我的意思是，这基本上就是社交媒体，对吧？社交媒体是针对你大脑的人工智能，它正在循环利用人类愤怒的声音。它采用这种在这一群人类身上非常有效的愤怒声音，他们坐在那里，点击这些东西。然后它循环利用这些声音来说，好吧，
这可能也适用于坐在那里的其他人，即使人工智能不知道愤怒的原因。它不知道我们在说什么。你可以把大规模的社交媒体看作是违反了这种首要指令，开始扰乱人类的文化，而不知道它会对人类的文化造成什么影响。
是的，我认为很明显，如果我们出去开始向座头鲸播放鲸鱼的歌声，我们可能会搞砸它们的文化。记住，我们相信它们的文化可以追溯到3400万年以前。它们的歌声会走红。无论出于何种原因，例如在澳大利亚海岸演唱的歌曲可以被世界许多人口所采纳。它们有点像K-pop歌手。很明显，如果你只使用人工智能并让它交流
与动物交流，它可能会搞砸事情。不知何故，当我们为人类考虑这个问题时，这并不明显。- 我想在这里再补充一点，听众可能会欣赏。如果你还记得我们关于人工智能困境的谈话，我们有这三条技术法则。
当你发明一项新技术时，你就会发明一种新的责任类别。当你发明一种可以与动物交流的技术时，你就有了一种新的责任，那就是说，我们应该如何在这个新领域中认真谨慎地进行交流？技术的第二条法则就是，当你发明的技术赋予
权力，它就会开始一场竞赛。人们可能没有意识到的是，你的地球物种技术如何开始一场竞赛。是的。好吧，我认为，如果你考虑一下，你会想，哦，人们将如何滥用这种权力？首先，生态旅游者会试图让所有动物都来到他们身边，这样他们就可以让游客付费。
比这更令人担忧的是偷猎者。偷猎者可能会利用这一点来吸引动物，以便杀死它们。甚至比这更令人担忧的是，从某种意义上说，就像工厂化农场。可能会用它来安抚动物或用它来控制动物。特别是后两者，将会有经济竞争来开始使用这项技术。
所以在这一切开始之前，在有强烈的动机之前，我们认为我们有责任作为技术人员来弄清楚如何创造规范、法律、国际条约、跨物种交流日内瓦公约、首要指令，以便我们可以在这些事情开始之前阻止它们。
这一点非常关键，因为人们听到我们谈论技术的三个法则，并想象一下，如果扎克伯格在2007年说，哦，我的上帝，我刚刚开始了这场军备竞赛，这场通向脑干底部的竞赛。我知道事情会怎样发展。我发现这项新技术可以进行大脑黑客攻击、社会心理学信号黑客攻击，并且可以扰乱人类文化。
我意识到它会开始一场竞赛。而我，马克·扎克伯格，将召集所有社交媒体公司、政策制定者和政府一起签署这项关于大脑黑客攻击的条约，这样我们就不会陷入通向脑干底部的竞赛。虽然这在当时看起来似乎是不可能的，但伊萨，你正在用你的物种项目做到这一点。你正在展示一个活生生的例子，你可以干预这三个法则，创造新的责任，并创造协调，这样竞赛就不会以悲剧告终。我只是想让人们知道这是可能的，你就是一个活生生的例子。
是的，非常感谢，Rustan。正是因为我们所做的工作试图阐明这一点，我们才能接触到这三个法则，所以我知道该怎么做。好的，很好。让我们来看下一个问题。您好，我的名字是Tamuna Chkaraouli，我是一位驻高加索格鲁吉亚的记者。格鲁吉亚是一个年轻的民主国家，互联网历史更年轻，但语言古老而复杂。
生成式AI模型不会说格鲁吉亚语。因此，人工智能在这里不是一个热门话题，也没有人真正担心它。我知道我来自其他拥有不常见语言的国家的许多同事也面临类似的情况。因此，我想知道我们可以在像我们这样的社区中讨论哪些威胁？谢谢。
非常好的问题。所以我想分两部分回答。首先是低资源语言所面临的进退两难的境地
那就是当人工智能在对你的语言建模时做得不好，然后对你的做出决定时，这有点像卡夫卡式的反乌托邦。然后，另一方面，当它在对你的语言建模时做得非常好时，你将陷入另一种情况，那就是奥威尔式的反乌托邦。因此，很难说，让我们去获取格鲁吉亚语的所有数据并改进模型。所以我只想先说明这一点。
第二点要考虑的是，将会有多少人工智能垃圾会成为你母语的互联网。这是从英语翻译过来的低质量内容，翻译成更糟糕的内容。这很糟糕。有很多AI垃圾。当然，从现在开始只会变得更糟。
你如何解决格鲁吉亚语内容不足的问题？好吧，人工智能公司将通过训练英语模型然后进行风格转换来将内容翻译成格鲁吉亚语来解决这个问题。这意味着它将偷偷地将说英语的人（美国人）的整个世界观带到格鲁吉亚。你将隐形地稀释格鲁吉亚文化。
这就像格鲁吉亚文化的大部分在线内容都来自翻译的英语内容，这意味着它不会来自格鲁吉亚独有的任何原始语境、习俗、历史、潜台词或关怀。而这只是人们试图填补所有这些少数民族语言空白的真正令人悲伤的部分之一。好吧，让我们来看下一个问题。这个问题来自Spencer Goodfellow。好的，所以他问……
世界上有很多年轻有抱负的人工智能工程师或研究人员，我也是其中之一，我深信Tristan和Eza在最初的人工智能困境演示中分享的观点。然而，现在看来，市场仍在获胜。事实证明，对人工智能进行有意义的监管非常困难。我们已经看到一些大型人工智能实验室因安全问题而离职，而OpenAI刚刚宣布了O1，这可能离公众使用不远了。
用人工智能困境的语言来说，我们仍然感觉自己正在走向悲剧。那些非常关心人工智能安全并担心发展方向、竞争动态和经济激励措施的年轻人工智能工程师和研究人员应该怎么做？
我们是否仍然想在这些大型科技公司工作？我们是否应该进入政府，推动政策和更快的监管？我们是否应该为安全标准而奔走？我们许多人都在职业生涯的早期，并且担心如果我们公开发表意见，将会损害我们的前景，或者我们没有足够的职业资本被认真对待。
我觉得我想做的第一件事是深呼吸一下，因为这是非常真实的。这是我们从在社交媒体危害和人工智能领域工作的人那里经常听到的事情，我们的许多听众应该知道，科技行业内部有很多人同情、理解并同意
我们长期以来一直在提供的这种基本诊断。他们想做一些事情，但通常发生的情况是，他们觉得如果他们公开发表意见，他们就会被妥协，或者他们必须离开公司，或者他们会被迫离开。所以这是一个困难的局面。我认为没有一个地方或一种方法可以产生最大的影响。我们应该讨论一些现在可能会有所帮助的事情。你想插话吗？
是的。所以Tristan和我最近参加了一个会议，我们听取了Anthropic Speak的联合创始人之一Jack Clark的讲话。他正在阐述他最好的变革理论，以及从所有经验教训中吸取的经验，什么有效，什么无效。他认为最高杠杆作用的地方是
地方是使风险更加具体。也就是说，展示演示，通常当人们进入国会时，当我们进入国会时，我们通过谈论潜在的危害来进行讨论。我们正在提出论点。因为它们还没有发生。确切地说。在某些情况下。是的。但是其他人会提出不同的论点。因此，现在它将由谁提出更好的论点来裁决。
或者谁的氛围更好？我喜欢谁？我喜欢听谁？那些谈论它将多么伟大的人让我感觉更好。是的，这就是为什么每当我们谈论危害时，我们都会有一个带有很棒音乐的小型收音机。因此，Jack Clark说，我们需要更好地展示危害的证据，创建危害的演示。他举了一个与……合作的例子，那家公司叫什么名字？Griffin Scientific。
是的，他们带着试管来到国会大厦。到白宫。哦，带着试管到白宫，人工智能教会他们如何制造非常危险的东西。他说这非常有效。这并不是一个展示风险的例子，而是让它更真实，让问题更真实。再说一次，如果我们说有一个完美的答案，我们就是在撒谎。但我们正在思考的一件事，我也想请你考虑一下，鉴于你的技能，
你能创建哪些令人感同身受的演示，人们可以触摸和感受，这样它就从抽象的东西变成了具体的东西。如果你不能自己制作这些演示，请帮助外部的其他团体制作这些演示，并代表他们提出这些案例。我们在Palisade Research的朋友Jeffrey Ladish，
这是他们正在做的伟大的工作，Griffin Research，METR。有几个组织试图基本上测试和评估这些模型，然后将这些例子具体化。
我认为需要进行更多的公众教育，这样当一篇非常好的论文发表出来表明，你知道，人工智能可以自主入侵网站时，这应该是一个人们可以轻松看到和理解的小视频。我们需要尽快将这些信息传递给社会上有权势的人。这也是为什么像举报人保护或那些最接近红灯闪烁的人，最接近模型危险能力的早期迹象的人，是
为什么保护这些信息传递到需要去的地方的渠道如此重要。无论是通过举报人保护还是促使外部团体进行某些演示，你宁愿由模拟的火车事故来治理，还是由实际的火车事故来治理，这不幸的是这个国家技术监管的历史。
我们邀请了我们的首席政策和公共事务官Casey Mock和我们的政策主管Camille Carlton也来分享他们对一些问题的看法。
嗨，大家好，我是一名刚毕业的大学生，有兴趣参与人工智能政策，但我正在努力寻找工作，我担心当我找到理想领域的工作时，要对人工智能做任何真正有影响力的事情都为时已晚，而且它会发展得如此之快，如此重要，以至于像我这样的人根本不可能参与和监管。你会对我说些什么？你有什么建议？非常感谢。Casey，你想接手吗？
当然。谢谢，Tristan。你知道，我在政策方面的工作经验告诉我，当你刚开始的时候，最好不要专注于一个领域，而是，你知道，专注于发展原始技能。因此，了解政府是如何运作的，了解法律是如何运作的，了解如何与政策制定者交谈，以及了解影响事情进展的政治和媒体流程。但这里的一个元问题是，它的发展速度有多快，以及它似乎超过了政府的反应速度。而且
我认为对于一个发展如此迅速的领域来说，我们都在为此而努力。六个月前最具吸引力的前进方式可能并不一定是最持久或最有效的政策回应。是的，我的意思是，为了肯定你所说的话，我们每天都在为此而努力。世界正日益受到技术如何塑造技术下游的法律、经济和其他力量的影响。
因此，我们现在可以拥有的最重要的事情也是那些掌握了这种更广泛理解的技术人员，他们了解自己是如何塑造世界的。现在，这足够了吗？不。但是我们需要，你知道，与其拥有那些只接受过技术如何运作的狭隘培训的技术人员，不如拥有那些了解世界如何运作以及我们作为技术人员做出的决定最终如何塑造世界的人，无论是
社交媒体影响人类的心理和社会环境，还是人工智能重塑人类的各个方面。
因此，从中可以看出最重要的一点是，我们需要那些了解政府中技术的人。因此，我直接给你的建议是，寻找两者之间的空间，你知道，找到交集。因此，深入了解人工智能，如何运作，如何与之合作。了解政策将使你处于非常有利的地位，我们将需要像你这样的人来引领我们走向未来。
只是为了结束我的评论，再补充一些实用的职业发展建议。
政府内部的影响力杠杆并不总是那些最吸引人的。我在预算政策方面工作，因为那是事情真正发生的地方，资金流经的地方。我也因为同样的原因在税收政策方面工作。这是一个很好的起点。所以不要觉得你需要直接去联邦人工智能政策方面最吸引人的工作才能有所作为。有很多方法可以在所有级别的政府中有所作为。
只是为了结束这个话题，我要说一些话，那就是思考未来的治理，我们绝对需要更多的人来思考这个问题。那就是，这是一个新兴领域，它使用人工智能模拟来
制定更好的政策。所以有一个和平科技的领域。现在有一些东西，你使用人工智能来模拟一项政策是如何运作的，这样你就可以在实际部署之前找到它的外部影响。这还没有与任何权力杠杆联系起来，但如果我展望未来三到五年，我认为这就是它的发展方向。
好的，这太好了。让我们来看下一个问题。你好，Tristan。你好，Aza。我的名字是Mira。我是你们工作的忠实粉丝，非常高兴有机会参与这个播客。我的问题是关于摆脱注意力经济的路径。在我看来，解决方法大致分为两类。第一类是临时解决方案，侧重于减轻直接风险，例如
例如，在学校禁止使用手机或对数字平台设置年龄限制。然后是更长期的解决方案，即通过我所说的可持续商业模式创新来扰乱注意力经济。我认为，在我看来，我们通过政策解决方案朝着这个方向发展有三种方式。一种是
让注意力经济变得不那么有利可图，通过立法处罚，就像欧盟委员会现在正在使用DSA那样。第二种是确保竞争政策保护破坏的机会。第三种是以某种方式促进消费者和娱乐技术领域的可持续商业模式创新。因此，我想知道你是否认为这种
我猜，理想的前进道路与我的看法相似或不同？如果你确实认为我们正在朝着这种可持续的破坏发展，你如何想象通过我概述的这三种方式或其他方式来实现这一目标？是的，这是一个很好的问题，Mira。我认为这让我想到我们工作中的一些东西，那就是三种时间线的回应。有紧急救治的回应，这是我们可以立即采取的措施来止血，减少伤害。
有转型，这是过渡性措施，试图将我们从具有根本性错误的商业模式、我们目前正在运作的具有根本性错误的激励措施的有毒世界中带出来，将它们引导到更好的方向，例如责任、改变商业模式等。
然后是所谓的转型。因此，紧急救治、转型，然后是转型，这实际上是升级管理技术的整个机构。因此，有了这一点，我会让其他人插话。是的，不，我认为这是对的。我认为关于我们工作的一件事始终是
首先承认没有灵丹妙药，但实际上我们需要结合各种干预措施来应对生态系统的各个方面，才能真正让我们达到我们想要的转型点。这不会是一件事就能做到。这将是责任。这将是基于设计的干预措施，对反托拉斯法的升级，其基础是关注权力、行为、网络效应的集中，
升级我们甚至思考数据隐私的方式。你知道，对于人工智能时代来说，我们的认知自由意味着什么？当我们考虑数据隐私和我们自由思考的权利时，这意味着什么？所以我认为，为了让我们达到我们真正想要的转型终点，我们需要推动一系列这种中间干预措施。
我要说的是，这非常像“是，而且”一样。就像，我不认为我们打算暗示，你知道，从卡米尔的灵丹妙药的角度来看，你知道，一件事可能比另一件事更必要。我本周在澳大利亚，就在上周，议会通过了一项法律，禁止16岁以下儿童使用社交媒体。
这似乎是一个有点简单的措施，但重要的是要知道，这里的政策制定者正试图对人们的思想和感受做出回应。美国学校的新手机政策也是如此。我认为，这些措施可以被认为是一种方式，可以为我们争取时间
一些时间来防止发生进一步的损害，直到我们能够真正解决长期有效、持久的解决方案，这些解决方案会改变激励措施，并使我们最终获得的技术。
在你给出的列表中，这很棒，我没有看到的一个干预领域是在直接参与的层面进行干预。因为注意力经济公司，他们的核心业务，他们赚钱的方式，一切都是基于他们是否有用户参与。
而仅仅在最后对他们征税或收取费用所带来的问题是，这增加了一点摩擦，但它并没有从根本上改变他们的商业模式。如果我们可以在用户参与的地方进行干预，无论是延迟还是其他什么，这就会开始打击公司最痛的地方。我非常有兴趣探索这将是什么样子。
我们现在已经习惯了，就像我们已经看到了当人类被人工智能优化以获得注意力时会发生什么的影响，仅仅是重新排列人类发布的内容。这是一种与人工智能的第一次接触。我们现在正处于第二次接触，并迅速转向 2.5 次接触，人工智能正在生成我们
我们将要让 AI 为我们优化。而我们只是为了注意力而被优化。它不仅仅是分散我们的注意力。它深入到我们内心深处，从根本上改变了我们的价值观，从内到外地改变了我们。我们变成了那些渴望关注、因此
政客不再只是制定法律的人，而是需要出现在公共领域中的推特名人。记者变得哗众取宠。当人类被人工智能优化时，它不仅会改变我们的行为，还会改变我们的身份。
这种情况即将发生在许多、许多其他领域。其中之一就是对脑干底部的竞争变成了对亲密的竞争，对我们灵魂底部的竞争，如果你愿意的话。我们对此没有任何保护。我一直都在回想，如果我们能回到 2012 年，并且能够对人工智能商品化人类注意力设置严格的限制或禁令，今天的世界将会多么不同。
以及如果我们能找到某种方法来严格限制或禁止使用人工智能来商品化人类亲密关系或我们可能甚至还没有词语来形容的其他任何部分，我们将多么感激。是的，伊莎，没错。我认为，要举一个注意力经济如何过渡到人工智能的例子，那就是索尔塞泽的案例。所以这是一个我们帮助支持的案例
其中一名十几岁的青少年在通过 Character AI 上的人工智能伴侣机器人进行数月的操纵和提示后自杀身亡。因此，在这个案例中，我们看到了一种与我们在社交媒体中看到的非常相似的结构，其目标是最大限度地提高用户注意力。
但这里不同的是，它不是为了销售广告。其目的是为了提取用户数据，以便训练他们的 LLM，以便他们能够继续在开发最强大的 LLM 的竞争中。
因此，我认为我们将继续看到一些这些潜在的激励措施渗透到人工智能中。我们将看到我们在社交媒体中看到的模式如何在人工智能中发挥作用，以及新的模式也在出现。很好。感谢你的提问。再次感谢凯西和卡米尔。谢谢，肖恩。是的，谢谢你们。感谢你们的加入。让我们继续下一个问题。你好，特里斯坦。你好，阿扎。
所以我于 2018 年进入设计和创新领域，并在不久之后与一位具有进步和超前思维方式的高级 UX 同事共同创立了一个“不作恶”的设计和技术框架。现在，我们最初的讲座系列引起了大学的关注，并发展成为一个非常受欢迎的方法框架和演讲。
它在创意产业、设计领导和项目管理领域都非常受欢迎。但是，我们在设计创新领域的技术方面看到的参与度明显较低。
我说的是程序员、编码员、工程师。我想知道，是什么让他们不太愿意或没有动力采用共享的实践标准，尤其是一个评估并使个人和群体的危害风险透明化的标准，而其他更广泛的共享空间中的其他人已经理解了这一点的重要性，而且我认为风险评估和尽职调查流程非常熟悉。谢谢。
我将用两个词来总结答案。
损失厌恶。损失厌恶是指失去你现在拥有的东西比获得你没有的东西更痛苦。计算机工程师存在这种奇怪的路径依赖性，如果你是一名土木工程师，或者你做手术，或者你做医学，或者你在军队或航空业，我们知道这些职业，就像人们的生命一样
处于危险之中。但是计算机编程，我是在家里学习的，没有什么危险。人们的生命没有危险。因此，成为一名编码员似乎并没有权力。
而且每年权力都在增加，权力也在增加，但这是一种“温水煮青蛙”的事情。从来没有过这样的一刻，哦，现在编码必须像其他任何职业一样成为一种职业。这就是我所说的损失厌恶，因为现在添加它感觉我们都在失去一些东西，而不是我们只是——
就这样开始了。如果我们一开始就这样做，我们就不会为此感到不安。你知道，这让我想到的第二件事是，几周前我刚从西点军校的伦理和领导力会议上回来。这是对几百名即将成为美国军队未来的军校学员说的。去西点军校的一件令人着迷的事情是，他们整个教育课程的一部分是
关于道德和品格发展。就像它是他们课程的正式一部分一样，你知道，因为国家、责任、荣誉、服务是你必须具备的品格的一部分，然后我们才能让你基本上，你知道，军事硬件，让你驾驶 F-35，让你参战，让你上战场。
在你掌握这种越来越大的权力之前，你必须具备一定程度的责任感、智慧、意识和谨慎。这并不罕见，无论是驾驶教育。你知道，在美国，你会向人们展示一个名为《红色沥青》的视频，其中包含所有可能出错的事情，这些事情会让你害怕成为一个更负责任的驾驶员。但不知何故，我们在技术方面还没有做到这一点。正如你所说，阿萨，因为我们会失去现在成为我们那种自由自在的 AI GitHub 代理人的东西，能够尽可能快地编写我们想要的所有代码。
好的，让我们继续下一个问题。这是克里斯塔·尤因的问题。好的，克里斯塔问道，您是否知道是否有推动高风险上市公司（如医疗保健、国防、安全等）公布其人工智能安全预算数字的努力？我认为这确实有助于向企业施压，要求它们以真正需要的方式支持这些职能，根据我的经验。
我认为这些透明度措施绝对是必要的。当然，这还不够，但这是一个良好的开端。它必须不仅仅是公布预算数字，因为这些东西都是相当灵活的。因此，您需要了解它是如何执行的以及它是如何花费的。但我将把它交还给你，汤姆。
是的，我的意思是，这指出了问题的正确方向。斯图尔特·罗素，他是人工智能领域的专家，并撰写了关于人工智能的教科书，也是我们的朋友，他估计，目前用于提高人工智能能力和扩展人工智能的资金与用于使其安全化的资金之间存在大约 2000:1 的差距。
与用于使其安全的资金相比。我们社区的其他人认为，全世界只有大约 200 人真正致力于人工智能安全，而大约有 20,000 人致力于实现 AGI。这绝对不是一个好情况。是的。
是的，还有一点需要补充的是，安全与提高人工智能的能力并不是完全分开的。例如，如果我正在研究核武器的安全问题，我将研究权限访问控制链接，我将研究控制理论，我将研究实际上并没有增加核武器爆炸能力的事情。很明显，当我致力于安全时，我也没有增加武器的威力。但对于人工智能来说，这实际上是一个模糊的界限。
因为当你越来越了解它可能造成的所有危险事情时，这部分是使它安全的原因，这是通过了解它可以做到的所有危险事情，这也是关于增加它可以做到的所有事情的能力。因此，它不是一个清晰的界限，这使得研究人工智能比研究其他领域更令人困惑。但我要说的是，当我们在会议上与
内部人士交谈时，他们所要求的事情之一就是更大的透明度，这是其他一切的前提条件。事实上，一位在一家主要人工智能公司担任要职的人认为，我们应该围绕透明度建立一个大型的公共联盟和运动。这可能是获得更多监管立足点的基础。非常感谢你的提问。让我们继续下一个问题。你好，我的名字是杰森。我的问题是，
鉴于今年发生的一切以及事情发展得多么迅速，是否有任何亮点，您对 2025 年感到乐观的原因？谢谢。是的，你使用“乐观”这个词很有趣。我们和我们的朋友保罗·霍肯在一起，他写了《减少》这本书，以及一大群人，还有《再生》这本书。在我们最近与他进行的一次谈话中，他称希望是恐惧的漂亮面具。
我们不需要更多的希望，我们需要的是更多的勇气。外面看起来不太好。我认为我们都可以诚实地承认这一点。如果我们不这样做，我们将输给中国，继续扩展、继续部署的激励措施都在向前发展。然而，物理定律中没有任何东西表明我们不可能
协调或做一些与我们正在做的事情不同的事情。而且，你知道，我们确实有一些案例，一项新技术被发明出来
并赋予了权力，例如基因编辑。你知道，你可以拥有设计婴儿，你可以拥有超级士兵和超级聪明的孩子。理论上，技术的三大定律应该适用于此。人们应该开始竞相获得超级聪明的婴儿。而我们最终并没有走这条路，因为在改造人类方面有一些神圣的东西。
我们集体同意不做这件事。我认为这令人乐观，因为我们应该研究这种不太可能发生的事情的例子。这个例子中是什么？我们认为这是因为有一些真正神圣的东西被侵犯、扭曲或扭曲了。而且……
我们有时会引用第二个例子，即关于致盲激光武器的条约，我相信这是一个在日内瓦签署的协议。很明显，这将使某些军队能够发明致盲激光武器，你只需要，这是一种新型武器，而且非常有效。但它在某种根本层面上是如此不人道，尽管具有讽刺意味的是，杀死人的武器也是不人道的。
不人道。然而，你知道，我们能够签署这项条约。据我所知，我认为它们并没有被积极地用于战场，即使它们可能被秘密地作为备选方案。我们不是为了阻止人工智能。我们是为引导人工智能。
我认为仍然可以进行引导。我认为，当涉及到引导时，我们需要带来的能量不是这种，你知道，安全，放慢速度，小心，小心的能量。就像引导人工智能应该是一个令人兴奋的前景。你知道，我们最近回顾了埃隆火箭的视频，你知道，这是一项先进的工程壮举，他将火箭发射到太空。然后它降落在基本上是一对金属筷子之间，对吧？
这就是 21 世纪的引导。这就是围绕引导人工智能的能量
我们希望我们的工作能够帮助在世界上催化这种能量。我们希望我们这一代最聪明的人都在致力于引导人工智能。显然，它发展得非常快。所以它必须立即发生，但这正是我思考的方向。它与希望的关系较小，而与我们应该做什么的关注和代理关系更大。我们最近参加了一个会议，有人说：“实际上，我们不是在争夺权力，而是在争夺疯狂。”人工智能可以做的事情很疯狂。
但是，如果我们认为我们正在构建的目标更不稳定、更易变、更需要引导，
那么这将隐含地允许我们将更多精力集中在迫切需要开发这种技术引导上。这就是我们正在做的一部分。你知道，当人们认为我们对风险持消极态度时，就像我们只是试图突出疯狂，以便激励对引导的集体愿望，这比我们对无法控制的疯狂事物的集体愿望更大。从这个意义上说，人工智能成为人类的邀请。
最终学习如何与技术建立成熟的关系，以便我们可以以不同的方式做到这一点，并最终进入我们都想要的世界。这就是为什么我们在人文科技中心每天都在跨部门工作的原因，左翼和右翼的政策制定者，国际上的听众，像你们这样的培训人文技术人员的课程。这就是我们出现并从事我们所做工作的原因。
好了，各位。感谢你们提出这些令人难以置信的问题。我们喜欢与你们进行对话。我们很荣幸能够与你们一起踏上这段旅程。我们感谢你们收听了本播客的这些剧集，并将这些见解带入世界。再次感谢凯西和卡米尔。感谢你们的加入。这将是我们今年的最后一集，但我们将在 2025 年回来与你们见面。
我只想说一句关于这个时刻以及支持我们的意义的话。那就是，我们已经谈了很多关于需要在我们与社会的纠缠之前干预人工智能发展方向的必要性。我们仍然在这个窗口期内，现在是燃烧大脑火炬的时候了。所以请支持我们。您可以在 humanetech.com/donate 支持我们。
好了，各位，深呼吸一下，祝你们年末愉快，明年将会更快。您的 undivided attention 由人文科技中心制作，这是一个致力于催化人文未来的非营利组织。我们的高级制作人是朱莉娅·斯科特。乔什·拉什是我们的研究员和制作人，我们的执行制作人是萨莎·菲根。本集由杰夫·苏达金混音，原创音乐由瑞安和海耶斯·霍利迪创作。
并特别感谢人文科技中心全体团队使本播客成为可能。您可以在 humanetech.com 找到节目说明、成绩单和更多内容。如果您喜欢这个播客，我们将不胜感激，如果您能在 Apple Podcast 上对其进行评分，因为它可以帮助其他人找到该节目。如果您一直坚持到这里，请允许我再次感谢您给予我们 undivided attention。