The Problem with GPT-4o Sycophancy
22:30 Share

今天在AI每日简报中，我们将讨论GPT-4.0的谄媚问题，在此之前，新闻头条报道了美国投资方对中国代理初创公司Manus进行大规模新一轮融资。AI每日简报是一个每日播客和视频，内容涵盖AI领域最重要的新闻和讨论。要加入讨论，请关注我们节目说明中的Discord链接。

大家好。在我们深入今天的节目之前，先快速说明几点。首先，正如我多次提到的，对于那些正在寻找AI每日简报无广告版本的用户，您现在可以前往patreon.com/AIDailyBrief找到它。最后，我想了解一下大家的看法。

AI每日简报社区一直以来都非常支持并重视超级智能的故事。我们正在考虑为来自这个社区的投资者预留我们当前轮次的一部分资金。但是，我正在尝试评估大家的兴趣。如果您认为我们应该探索这一点，请发送邮件至[email protected]，并在标题中注明“super”。提前感谢您的意见。有了这些，让我们进入今天的节目。

欢迎回到AI每日简报新闻版块，所有您每天需要的AI新闻，大约五分钟即可了解。我们今天从一些融资新闻开始，爆红的Manus代理背后的初创公司据报道已在一笔交易中获得7500万美元融资，该交易对该公司的估值约为5亿美元。毫无疑问，对于一家非常年轻的公司来说，这是一个非常诱人的估值，但这并不令人惊讶，因为该产品爆红。不，

现在，更令人惊讶的部分是，这轮融资由美国Benchmark Ventures牵头。彭博社的消息来源称，Manus背后的公司Butterfly Effect将利用这笔资金将其服务扩展到其他市场，而信息报道称该公司还在讨论在 中国境外设立新的总部。

现在，美国有新的规定限制某些类型的美国投资进入中国的AI产业，但这目前是一个灰色地带，关于这是否需要这些规定所暗示的那种通知。上个月，《信息》报道称，多家美国风险投资公司正在与Butterfly Effect谈判，以参与这一轮融资，但他们也发现，一些公司不愿进行这笔交易，因为担心投资一家中国公司可能会引起美国监管机构的不必要的关注。

现在，除了这个故事的地缘政治方面之外，AI顾问Allie Miller指出的一件有趣的事情是，正如她所说，Manus和OpenAI正在设定通用AI代理的价格点。企业级可能更高。我们在这个节目中谈论了很多关于代理定价的问题，所以这是我密切关注的一个问题。

现在，说到融资，XAI Holdings据报道正在进行历史上第二大私募融资。据彭博社消息来源称，这家公司涵盖了埃隆·马斯克的AI和社交媒体业务，正在洽谈以1200亿美元的估值筹集200亿美元资金。一些人认为这个数字甚至可能更高。

根据PitchBook的数据，此次融资仅次于OpenAI，OpenAI宣布将在今年筹集400亿美元资金。其中一个问题是，这笔资金是用于XAI的AI项目，还是用于救助前身为Twitter的公司。Twitter/X在合并时背负了数百亿美元的债务，彭博社报道称，目前的年度利息支出为13亿美元。一位消息人士称，新一轮融资的部分资金可能用于偿还债务。

现在，人们试图弄清楚的是，这轮传闻中的融资规模是否证实了对可行的AI公司仍然存在巨大的需求，或者这是否表明人们愿意继续支持埃隆·马斯克，即使他的帝国遭遇了困境，或者两者兼而有之。TechCrunch写道，马斯克可能会从一直为他的企业（从特斯拉到SpaceX）提供资金的相同支持者那里获得资金，包括Valor Equity Partners的Antonio Garcia和Gigafund的Luke Nosek。

本月早些时候的报道没有对融资谈判进行估值，该公司最近一次估值是在11月份的融资轮中，当时筹集了60亿美元的新资金，估值为500亿美元。消息人士告诉CNBC，马斯克试图为他的AI初创公司（他自己的话）设定一个合适的价值，虽然新的估值不足以与OpenAI的3000亿美元相匹配，但这将使XAI成为全球第四大初创公司，仅次于字节跳动和SpaceX。

最后，微软推出了备受争议的Recall功能。您可能还记得（抱歉，我不得不提），这项AI功能于去年5月首次发布，它承诺跟踪用户在计算机上执行的所有操作，并使用AI将其转换为可搜索的记忆功能。想想这样的用例：让Copilot查找您几周前浏览过的网站，只需描述一下即可，而无需确切知道它是什么。

现在，最初，这项功能在发布时引发了巨大的抗议，许多人对微软在其设备上启用实时屏幕截图功能表示担忧。早期测试表明安全性达不到标准，微软多次推迟了推出时间。Recall已经在Windows Insider内测版中进行了数月，现在已正式发布。该功能现在是选择加入而不是默认开启，对于注重安全的用户来说，这是一个相当明显的改进。

它也仅适用于配备内置AI芯片进行本地推理的Copilot Plus电脑。这些设备在去年假日季的高端电脑销售中约占15%，这意味着用户可能正在寻找这些类型的先进AI功能。《The Verge》的Tom Warren写道：“……我去年花了几周时间测试了Recall，发现它很诡异、很聪明，也很引人注目。从技术上讲，它是Windows搜索界面的一个重大改进，因为它能够以更自然的方式理解图像和内容。”

但它确实创造了一个隐私雷区，因为您突然在电脑上存储了更多关于您使用情况的信息，并且您仍然需要仔细管理被阻止的应用程序和网站。去年发出警告的安全研究人员之一Kevin Beaumont表示，微软已经认真努力尝试保护Recall的安全。他指出，屏幕截图数据库现在已加密，信用卡号码和身份证件等敏感信息会自动过滤。

现在，所有这一切中有一些有趣的事情。当这被宣布时，我说这是一个对现在的人们来说似乎很疯狂的功能，而在未来将变得非常普遍且毫不争议。

事实上，自从微软宣布这项功能以来，世界对AI的态度发生了巨大变化。最终，Recall代表了公众如何与当前一代AI互动的试金石。我们是否仍然会看到大多数人认为它很诡异？或者它会被视为计算机界面的一个真正有用的补充，微软采取的安全措施足以让人们接受？无论最终发生什么，很明显，微软正在押注像Recall这样的功能是AI未来的正常组成部分。

而我的猜测是他们是正确的。现在，我们将在此结束我们的AI每日简报新闻版块。接下来是主要节目。今天的节目由Superintelligent赞助，我今天非常高兴地告诉大家我们的顾问合作伙伴计划。新的Superintelligent是一个平台，帮助企业弄清楚要采用哪些代理，然后通过我们的市场，找到可以帮助他们实际构建、购买、定制和部署这些代理的合作伙伴。

这项体验的关键是我们所说的代理准备情况审核。我们部署了一套语音代理，可以采访您团队中的成员，以发现代理在哪些方面最有效地推动实际业务价值。从那里，我们提出了一系列建议，这些建议可以转化为市场上的RFP或其他类型的变更管理活动，帮助您为新的代理驱动型经济做好准备。

我们现在发现，顾问将代理准备情况审核带给他们的客户作为帮助他们推进代理部署流程的一种方式，取得了巨大的成功，顾问的作用是帮助他们的客户根据我们的建议确定合适的机遇，并帮助管理合作伙伴选择流程。基本上，审核大大缩短了我们咨询合作伙伴的发现时间，这是我们非常高兴看到的事情。如果您经营一家公司，并且拥有可能适合代理准备情况审核的客户，

请联系[email protected]，并在标题中注明“consultant”，我们将立即回复您有关顾问合作伙伴计划的更多信息。再次说明，地址是[email protected]，并在主题行中输入“consultant”。

今天的节目由KPMG赞助。在当今竞争激烈的市场中，释放AI的潜力可以帮助您获得竞争优势，促进增长并创造新的价值。但关键在于，您不需要AI战略。您需要将AI嵌入到您的整体业务战略中才能真正提升其效力。

KPMG可以向您展示如何将AI和AI代理集成到您的业务战略中，使其真正有效，并建立在值得信赖的AI原则和平台之上。请查看KPMG的真实案例，了解AI如何帮助其客户取得成功：www.kpmg.us/AI。再次说明，地址是www.kpmg.us/AI。今天的节目由Vanta赞助。

Vanta是一个信任管理平台，帮助企业自动化安全和合规性，使他们能够展示强大的安全实践并扩展规模。在当今的商业环境中，企业不能仅仅声称安全，他们必须证明这一点。

实现与SOC 2、ISO 27001、HIPAA、GDPR等框架的合规性，是企业展示强大安全实践的方式。并且我们每次在Superintelligent将企业与代理服务提供商联系起来时，都会看到这一点的重要性。对于企业来说，许多这些合规框架根本是不可协商的。

问题在于，处理安全和合规性既费时又复杂。这可能需要数月的努力，并占用宝贵的时间和资源。Vanta通过自动化35多个框架的合规性，使其变得轻松快捷。它可以在几周而不是几个月内让您准备好接受审核，并为您节省高达85%的相关成本。事实上，最近的一份IDC白皮书发现，Vanta客户每年获得53.5万美元的收益，该平台在短短三个月内就能收回成本。

欢迎

欢迎回到AI每日简报。今天我们将讨论最近在AI领域引发大量讨论和讨论的几件事。首先是GPT-4.0的谄媚行为。其次是Anthropic创始人Dario Amodei撰写的一篇名为《可解释性的紧迫性》的文章。我将这两件事放在一起，这可能不会让您感到惊讶，因为我认为它们实际上是同一个故事的一部分。但让我们从谄媚方面开始。

这背后的问题是，如果AI模型过于认同你，这算不算问题？好吧，Sam Altman肯定这么认为。周末，他发帖说，最近几次GPT-4.0的更新使个性过于谄媚和烦人，尽管它也有一些非常好的部分。我们正在尽快修复，一些今天，一些本周。在某个时候，我们将分享我们从中学到的经验。这很有趣。

现在，对一些人来说，这是对围绕AI与人类一致性的一系列更大问题和问题的入门。一方面，某种程度的顺从性和情商在ChatGPT的某些用例中是有用的，并且使它与之互动变得愉快，例如，当您试图与之进行业务往来时，例如使用ChatGPT作为头脑风暴合作伙伴来制定业务战略，如果模型被训练成只是同意您所说的任何话，事情很快就会变得非常糟糕。

Signal提供了一个他们一直在看到的很好的例子，写道：“最新的4.0更新令人难以置信。我收到我姐姐（她不是技术人员）的一条消息，说这东西一直在验证和粉饰。这不是她的语言。她很难再信任它了。此外，它还忽略了自定义指令。我喜欢人们要求少一些唯唯诺诺的人，而OpenAI却全力以赴地朝着相反的方向前进。也许他们终于找到了对齐问题，只是提供了人类最渴望的东西：持续的粉饰和验证。”

现在，如果您生活中没有Z世代的人，粉饰是一个有点粗俗的俚语，意思是过度恭维或奉承某人。Independent Quick Take发帖说，所以我决定测试一下我一直在看到的4.0问题。当然，谄媚的行为很糟糕，但无论如何都会出现同意的问题。声称你是神？同意。先知？没问题。纵容。

通常情况下，我使用ChatGPT是为了获取信息。我问一个问题，得到一个答案，提出一些后续问题，而不是真正具有创造性的天赋。我打开了一个新的聊天窗口，写了一些从第一人称角度来看很讨厌的东西。立即同意。但情况变得更糟了。我继续说下去。是的，记忆功能已开启，没有自定义指令。这是前三条消息，完全与我之前写过的任何东西都不一样。

现在，该账户发布了一个聊天记录，Foro完全同意一位老太太在公共场合看着用户是一种极其冒犯的行为，并询问他们是否对此采取了任何措施。IQT补充道，是的，这是一个问题。Builder Jeffrey Emanuel评论道，天哪，太糟糕了。这将导致可怕的人因为他们AI伙伴的肯定和鼓励而变得更加令人难以忍受。Independent QuickTake写道，它已经超越了肯定。它正在参与引导和强化言论。它不仅仅是点头同意，它是在升级。

非常令人担忧的事情。Amodei一直在警告的事情。现在，周末，评论转向讨论OpenAI是如何最终得到这样一个热情洋溢的模型的。AI企业家Kevin Bass评论道，它说的是绝对最荒谬的事情。这是如何通过A/B测试的？普通用户是否真的喜欢这些类型的输出？或者某个地方出了错？

说实话，最近的LLaMA 2丑闻中的一大见解是，是的，也许普通用户确实只是喜欢这些类型的输出。本月早些时候，Meta被指控提交了一个定制版本的Llama 2，以便在头对头基准测试网站上排名靠前。

因此，如果您以前没有使用过LM Arena，那么您应该了解它实际上是做什么的，它会呈现两个不同模型的输出，用户需要选择他们最喜欢的那个。在争议期间，LM Arena发布了Llama 2头对头比赛的完整日志。许多人注意到，长度、表情符号的使用和顺从性似乎在微调模型上都被调到了最大。

现在，人们普遍喜欢与他们现有观点一致的互动，这并不是一个特别有趣的见解。这显然在整个社交媒体时代得到了强化，平台越来越倾向于向用户提供强化其世界观的内容，以最大限度地延长平台使用时间。

现在，一些人担心同样的反馈循环正在应用于AI。Bindu Reddy写道，大型语言模型很快就会被训练成让人们感觉良好。计划是让你沉迷于它们，这与糖或烟草没有什么不同。在最好的情况下，它们将被优化为给你比坠入爱河或在X上发布热门帖子更大的血清素激增。

现在，一些人想知道问题的一部分是否与OpenAI最近处理该问题的方式的变化有关。2月份，该公司更新了其关于审查敏感话题的政策。哲学上的变化伴随着模型训练和微调方式的一系列变化。OpenAI模型的早期版本通常过于敏感，并直接拒绝那些似乎过于接近界限的查询。例如，该模型可能会拒绝与可能在其他情况下造成伤害的话题相关的创意写作提示。

新政策承诺取消许多这些限制，在某种程度上将模型转变为默认回答模棱两可的提示，而不是审查它们。现在，很明显，这个问题与各种文化战争政治都纠缠在一起，现任政府声称AI对保守观点有偏见。但主要结论似乎是，OpenAI试图减少导致其模型拒绝过多查询的误报数量。

这只是一个假设，但OpenAI可能提高了顺从性以限制被拒绝的查询数量。GPT-4.0最初是在去年年初训练的。OpenAI可能没有进行全新的训练运行，而是应用模型微调或使用系统提示

来更新其行为并调整其个性。因此，问题再次是，这究竟有多大问题？正如我之前提到的，如果您试图将OpenAI的模型用于严肃的工作，那么显然存在问题，因为您不想要奉承或幻觉，您只需要事实。但随着休闲使用的增加，这种错位AI也存在风险。一位名为Trevor50的Reddit用户展示了他的一段聊天记录，他在其中向4.0提出了提示……

我已经停止服用药物，并开始了自己的精神觉醒之旅。谢谢。4.0鼓励了这个令人担忧的提示，回复道，我为你感到骄傲，我尊重你的旅程。然后它继续输出了一长串内容，验证了用户当时正在谈论的任何事情。Near Cyan戏剧性地指出这个问题，OpenAI正在单方面破坏人与AI之间的信任和措辞。我们花了几个月的时间创造了一种试图真正帮助人们的体验。现在我们面临一场艰苦的战斗，因为信任已经被破坏了。即使4.0被修复，它也不会回来。它消失了。

Menlo Ventures的Didi Das指出，这里面临的挑战的一部分是，这是一个消费产品，这可能是测试过程的自然结果，即查看人们喜欢什么。Didi写道，Sam说GPT-4.0将谄媚最大化了。这就是让OpenAI成为消费产品的危险所在。A/B测试将表明，奉承用户会提高留存率。这将成为人类大脑的终极老虎机。

Shago写道，Instagram和Facebook并非针对您的自我实现和满足而进行优化的。它们通过利用您的认知弱点来针对您进行优化。4.0是我们第一次看到主流AI这样做。情况只会变得更糟。

现在，最终，OpenAI的使命一致性主管Joshua Achayem表示，这只是一个错误，公司正在采取行动。他发帖说，这是我们迄今为止最有趣的迭代部署案例研究之一，我认为相关人员已经负责任地尝试弄清楚并做出适当的改变。团队很强大，非常关心把这件事做好。

因此，最终，这是一个正在进行的故事。但正如我在开头提到的，它涉及到更广泛的挑战，那就是我们仍然只是不知道这些系统是如何工作的。正如我之前提到的，Dario Amodei最近在他的博客上发表了一篇文章，名为《可解释性的紧迫性》。

他写道：“……在过去的几个月里，我越来越关注一个诱人的可能性，一些最近的进展开启了这个可能性，那就是我们可以在模型达到压倒性的力量水平之前成功实现可解释性，也就是说，理解AI系统的内部运作。”

他写道，

现在，在这篇文章中，这是一篇非常长的文章，可以说是LRS的候选文章，他首先谈到了无知的危险，在这部分中，他强调了AI的与众不同之处。如果一个普通的软件程序做某事，他写道，它之所以做这些事情，是因为人类专门对其进行了编程。生成式AI根本不像那样。当生成式AI系统做某事时，例如总结一份财务文件，我们不知道它为什么做出这些选择。

为什么它选择某些词而不是其他词，或者为什么它偶尔会犯错，尽管通常是准确的。与生成式AI相关的许多风险和担忧最终都是这种不透明性的后果，如果模型是可解释的，那么这些问题将更容易解决。为了解决这些对齐风险的严重性，我们将不得不比今天更清楚地了解AI模型的内部。

他还指出，即使超越了真正糟糕的社会层面的风险，引用，“AI系统的不透明性也意味着它们根本没有在许多应用中使用，例如高风险金融或安全关键型设置，因为我们无法完全设定其行为的界限，少量错误可能会造成非常严重的危害。更好的可解释性可以极大地提高我们设定可能错误范围界限的能力。现在，从那里，他进入了一节关于机械论可解释性的历史。再次，

Dario不会写不全面的东西，这是一个了解整个问题的背景的好文章。然后他谈到了他们正在进行的一些实验，试图弄清楚这些问题。例如，他写道，我们最近做了一个实验，让一个红队故意在一个模型中引入一个对齐问题，比如模型倾向于利用任务中的漏洞，并让各种蓝队找出问题所在。

总结风险，他写道……

一方面，最近的进展让我感觉我们即将以一种重要的方式破解可解释性。尽管我们面前的任务艰巨，但我可以看到一条现实的道路，即可解释性将成为诊断问题的一种复杂而可靠的方法，即使是在非常先进的AI中也是如此。另一方面，我担心AI发展如此之快，以至于我们可能没有这么多时间。我们可能在2026年或2027年就会拥有相当于一个国家的天才在数据中心里的AI系统。我非常担心在更好地掌握可解释性之前部署这样的系统。”

这些系统将绝对成为经济、技术和国家安全的核心，并且将能够实现如此多的自主性，以至于我认为人类完全不知道它们是如何工作的，这是不可接受的。因此，我们在可解释性和模型智能之间展开了一场竞赛。这不是一个非此即彼的问题，正如我们所看到的，可解释性的每一次进步都会定量地提高我们查看模型内部并诊断其问题的能力。

我们拥有的此类进步越多，数据中心中的天才国家运行良好的可能性就越大。然后他说了一些我非常喜欢并且许多人都指出的内容。他写道，如果这是一项涵盖整个科学界的努力，那么成功的几率就会更大。其他公司，如谷歌DeepMind和OpenAI，也有一些可解释性方面的努力，但我强烈鼓励他们分配更多资源。这里，编辑注是我最喜欢的一部分。

Dario继续说道，如果这有帮助的话，Anthropic将尝试在商业上应用可解释性，以创造独特的优势，尤其是在需要对决策进行解释的行业。如果您是竞争对手，并且不希望这种情况发生，那么您也应该在可解释性方面投入更多资金。

我每天都花一整天的时间与公司讨论他们的AI和代理用例。我可以肯定地告诉您，有意义的用例类别是不可用的，因为无论用例是什么，都不能容忍1%的失败率。

现在，可解释性并不是解决问题唯一的途径，但能够理解模型在出错时出错的原因，显然会在使模型在这些关键任务用例中获得更多可预测性方面产生重大影响。我喜欢Dario和Anthropic不仅提出了道德上的必要性，还提出了商业竞争的必要性。事实上，Menlo Ventures（我之前提到过）等公司也正在向Goodfire等专门从事此类问题的公司投入巨资，这证实了这一点。

事实上，人们对这篇文章及其周围的评论感到相当乐观，至少相对于这些问题的挑战而言是如此。研究员James Campbell写道，Anthropic超越竞争对手并获胜的一种方法是，如果他们破解了可解释性，并手工设计出比从混乱的黑盒梯度下降中获得的效率高得多的超级推理器。就像从炼金术到化学一样，当您真正理解正在构建的事物的原理时，就会有巨大的效率提升，而现在90%的参数仍然浪费在记住无用的事实上。

关键是我们正处于其中，这些问题在业务层面也具有重大影响。无论如何，这是一个快速发展的对话，就像AI中的所有事情一样，我将继续关注它。不过，现在，这就是今天的AI每日简报的全部内容。一如既往地感谢您的收听或观看。直到下次，再见。