Ep 62: CEO of Cohere Aidan Gomez on Scaling Limits Emerging, AI Use-cases with PMF & Life After Transformers
50:44 Share

我是雅各布·埃弗隆，今天在《无监督学习》节目中，艾丹和我讨论了很多话题，包括他为什么认为最好的应用公司也会构建自己的模型。我们还讨论了未来哪些类型的数据标注对改进模型至关重要。我们还谈到了艾丹为什么希望 Transformer 不会成为 AI 的最终架构。在我们深入探讨之前，有一个请求。如果您在 Spotify 上收听该节目，请考虑留下评分。评分有助于提升播客的知名度，这反过来又可以帮助我们邀请到最好的嘉宾。现在，让我们开始吧，以下是艾丹的访谈。艾丹，非常感谢你来到我们的播客节目，我真的很感激。

是的，很高兴来到这里。感谢你们的邀请。太棒了。我认为我们可以从很多不同的方面开始，但我认为最有趣的一个，也是每个人今天都在思考的一个问题是企业 AI 采用和使用的未来。显然，我知道这是你经常思考的事情。我觉得我看到的是，如今企业部署 Gen AI 有不同的模式。感觉像是

有些是直接咨询，比如你让一个大型埃森哲团队来构建一些东西。另一些感觉可能更像帕兰提尔，在那里有一些前沿部署的工程，一些正在构建的产品。还有一些则试图直接销售开箱即用的产品，对吧？比如，这里有一些你可以使用的产品，去让它工作吧。显然，这是一个快速发展的领域，但我很好奇，当你考虑这几种模式中哪一种会在五年、十年后胜出时，你认为长期从事 Gen AI 企业工作的员工会是什么样子？

从长远来看，我认为中间的某种模式将会胜出。这是一项新技术，非常复杂。

我希望事实并非如此。我希望企业更容易采用这项技术。但有时他们需要帮助。因此，某种程度的支持对于将这项技术整合到经济中、整合到所有这些不同的公司以及针对他们可能需要追求的所有不同应用中是必要的。我还认为

AI 是独一无二的，这些代理也是独一无二的，因为一个代理只有在能够访问人类能够访问的相同信息时才能有效地完成其自动化任务。因此，这需要大量的访问权限。

它需要能够查看你的电子邮件、聊天记录、通话记录、CRM、ERP 和人力资源软件。它需要如此多的上下文信息。因此，这带来了几个不同的问题。首先是隐私。

很少有软件需要这种程度的访问权限。因此，在 AI 和代理中，隐私问题比在其他类型的企业软件中要大得多。我认为这是我们做得特别好的一点。第二点是，每家公司为其员工使用的软件都是不同的，对吧？比如，没有……

公司标准的设置，他们运行的堆栈是什么。因此，每个公司都不同，每个公司都需要进行一定程度的自定义设置，才能将所有这些上下文信息整合在一起并将其集成到模型中。我们现在投入大量时间做的一件事是使我们的新代理平台 North 更易于定制和集成

无论每个特定公司的结构是什么。我的意思是，显然，今天有很多你必须构建的自定义集成，关于谁可以访问什么的规则，显然，还有很多 VPC 部署。将来，你会有某种能够消除这种复杂性的 AI 代理吗？就像，嘿，只需输入你想要集成的工具，输入一些基本信息。所以，这有点像幻想吗？不，我的意思是，如果

设置可以完全自助服务，并且代理可以自行运行并执行必要的操作，那将非常有帮助。我认为我们可能会处于中间状态。它不会是极端情况，即没有人类参与，实际上我们只需安装一个副本，然后你告诉它你想要它做什么，它就会自行安装。将会有一些中间状态，其中

我们将能够自动化部分问题，但不是全部问题。因此，错误地访问薪资数据或其他任何东西的风险都非常高，因此你可能需要相当多的防护措施。是的，我认为是这样。是的。而且肯定要定制

客户数据、患者数据等等。你不能犯错。我认为你在 Cohere 担任的职位如此有趣的一点是，你显然与许多从事不同工作的企业合作。如今，硅谷的争论似乎是实验预算和实际预算是什么。你对真正有效的东西有很好的了解。你如何对今天你认为具有产品市场契合度的 Gen AI 企业用例进行分类甚至列出？这很难分类。我认为是

有一些垂直应用，例如，在医疗保健领域，我们真的希望让医生更容易记笔记和填写表格。因此，你知道，使用被动监听麦克风并能够收听医生与患者的互动，并预先填充信息，这样他们就不必花费时间

一半的时间在打字记录等等。我认为这是非常垂直特定的，但我们看到的更多的是这些通用类别，客户支持就是一个技术已经准备就绪并且需求非常大的领域。因此，这在电信、

在医疗保健、金融服务等各个垂直领域发展都非常迅速，每个人都需要这种能力，而且技术已经具备了。另一个，我不知道该如何分类，但我猜想是研究，用一个代理来增强人类的能力，这个代理可以在一两个小时内完成一个月的研究工作。我们看到对这种能力的需求非常大。所以你可以想象，如果你在一家银行，并且你拥有财富经理，那么财富经理可能会管理一个……

20、50 个不同的客户。这些客户可能会打电话给财富经理说，嘿，我想对未来可能发生的这种地缘政治事件进行对冲。然后，财富经理需要进行研究，并制定一个策略，说明我该如何对冲这件事？而且时间非常紧迫，因为这可能就在几天后。尤其是在当前时刻，当然。是的，完全正确。现在非常相关。但是如果我们可以让它

效率大幅提高，因为这些模型可以阅读比人类多几十万倍的信息，并提供一份非常可靠的研究报告，其中包含所有来源文档的引用，以便人类可以审核它。我认为我们可以让知识工作

效率提高 10 倍。我想一个大家经常争论的问题是，显然我们还处于探索当前一代模型能力的早期阶段，对吧？我们只有几年的 2G4，从秋季开始的推理模型。感觉是否有数万亿美元的价值等待解锁？就像如果我们今天冻结模型的能力，或者感觉我们仍然需要继续改进模型曲线才能真正实现这里的全部愿景？推理是如此显而易见。

任何人都对非推理模型感到满意都是疯狂的。因为输入空间是什么？是语言。是一切。从“嘿，一加一等于几？”聊天机器人到证明马茨-拉斯定理，一切都是。因此，输入空间是一切。我们不应该期望模型花费相同的时间来回答这两个问题。

因此，推理能够解锁一种能力，使技术能够在不同复杂程度的问题上花费不同的能量，这是如此显而易见和直观。我们知道我们必须将这种能力构建到技术中。当然还有更多缺失的东西。例如，

模型的现状。我们花费所有这些资金来训练它们。我们花费 1 亿美元构建一个模型。然后我们得到最终的检查点、最终的权重，然后我们将其分发到世界各地。它们被冻结了。每个人都在与

同一版本的模型对话，它不记得你几个月前的聊天记录。因此，没有从经验中学习的概念。因此，这是人类拥有的明确能力，对吧？比如，我们可以对新事物一无所知，然后在练习四五年后成为专家。这些模型应该具有从他们在世界上的经验中学习以及从他们与之互动的人类那里学习反馈的相同能力。

因此，这些模型中缺少一些明显的智能特性，这些特性需要改进。但我认为现在正在发生变化，那就是“规模就是一切”的假设正在被打破。我们在资本和计算的边际收益方面非常严重。我们只是看到……

我们将不得不变得更聪明、更有创造力，才能解锁技术的下一步发展。但我认为这是好事。这对我们这些创新者来说是好的压力，让我们去探索和尝试。旧策略很无聊也很愚蠢。

所以我对新时代感到兴奋。所有这些都在摧毁更多的资金来竞争。一种被理解的游戏与试图弄清楚如何让定制计算适用于非易于实现的领域。显然，还有一些其他人正在研究的算法突破。我认为现在研究方面是一个令人兴奋的时刻。绝对的。

绝对的。我的意思是，我想你已经暗示了这一点，但我很好奇，比如，我认为人们提出的另一个问题是，我们是否正在走向一种“统治所有模型”的道路，如果你是一家银行或医疗机构或……，或者说，对于不同的用例，我们是否需要专门的模型？你知道，我肯定对此有强烈的看法，既有微调，也有，是否有必要为这些不同的领域拥有……，你知道，不同类型的预训练模型？你如何看待随着时间的推移这种发展？

我的意思是，我过去更认为我们需要专门的模型。有了 MOE，模型能够自我发展专家，而这些只是模型中的子网络。因此，这减轻了一些压力。我会说定制模型仍然很重要。关于特定业务或特定领域的某些基本上下文仍然是

来自基于网络构建的模型，网络包含大量关于人类、历史、文化和科学的信息。但是，网络上有一些东西不存在，这些模型需要能够擅长这些东西才能在世界上提供价值。嗯，

所以我认为定制模型很有意义的地方在于弥补了这一差距。网络上没有很多制造数据、客户交易或详细的个人健康记录。因此，对于这些类型的数据或模式，

Cohere 的做法是，我们与拥有这些数据的组织合作，创建一个只有他们才能访问的定制模型，该模型在这些领域非常擅长。但通用模型非常出色，合成数据能够相当大地弥补差距。所以我认为肯定不会有数十个或数百个模型在一个组织内运行。你可能只有几个。

但我认为不会像每个团队都会有他们自己微调的模型那样。是的，基本上，如果他们将其集中在模型未接触到的某种不同类型的数据上，你可能会进行一些微调，甚至对其进行一些基本的预训练。否则，在整个组织中这样做是没有意义的。我想你已经暗示了数据方面。我认为我很好奇，显然，在这个第一波

ChatGPT 时刻之后，它就像一堆 RLHF 数据。现在它显然已经转向了更专业的标签员、编码和更多推理任务。你提到的合成数据显然发挥了很大的作用。对于像你们这样构建模型提供商的人来说，数据标注仍然扮演什么角色？未来有哪些有趣的领域？它在合成数据世界中仍然相关吗？或者——评估。人类仍然是

黄金标准。好吧，我想根据定义，如果你正在为人们构建模型，那么他们可能最适合评估其有用性。完全正确。是的，评估是你还无法让人类脱离循环的地方。我的意思是，让人类脱离循环的方法是让一个比你当前模型更好的专家来观察它。

但这假设你首先可以构建这个专家。那么你为什么这样做呢？所以，我认为在 EUL 中对人类存在硬性依赖。在数据生成方面，成本太高了。是的，你是对的。就像我们肯定仍然需要人类数据，但要找到 10 万名医生并让他们教模型学习医学，这成本太高了。这不是一个可行的策略。是的。

这是一个可行的策略，可以教模型学习关于如何交谈、闲聊等一般性知识，找到 10 万名普通人，他们可以教模型学习这些东西。因此，我们不得不变得更有创造力。但是教模型闲聊和做所有这些事情解锁了一定程度的

在合成数据生成方面的自由，然后我们可以将其应用于医学等特定领域，我们可以使用更少的人类数据池，也许我去找 100 名医生，让他们给我提供一些课程并教我的模型，然后我使用这个已知良好、非常值得信赖的数据池来生成一千倍的合成相似数据

就像你说的，在代码和数学等可验证的领域，这更容易，因为你可以检查结果并使用它来过滤合成数据并剔除垃圾，找到黄金。在其他领域，它变得更加复杂，但仍然是可行的。所以在现阶段，我想就 Cohere 为新模型生成的数据总量而言，

绝大多数是合成的。——非常有趣。你已经暗示了，显然，我认为现在该领域的一个问题是测试时间计算能让我们走多远，以及它将在哪些空间工作，以及它将不会在哪些空间工作。你今天是如何概念化的，包括今天有效的方法以及近期前沿？——对于测试时间计算，对于推理，

Cohere 很少关心解决数学奥林匹克竞赛。我们想要这些模型。企业不会求你提供擅长解决数学奥林匹克竞赛的模型吗？不会。但他们确实求我们帮助他们在使用此软件的后端自动化流程，并在网上进行一些研究，然后执行此操作。

因此，对我们来说，这更多的是关于教这些模型通过使用人类和企业今天用来完成任务的工具来解决业务中存在的问题。这就是我们关心的问题。这在改进方面是一个彻底的改变。在推理之前，有一些任务我们根本无法获得足够准确的模型。

无法做到。模型无法解决问题。它们几乎总是失败。有了推理，它们几乎从不失败。就像你扔给它任何东西，它都会找到一种方法来完成它。因此，推理能够解锁反思和理解第一次尝试失败的原因，然后利用它来找到另一条路径，一条通往相同结果的替代路径，

这确实是一个真正的突破。是的。当你最初使用这些推理模型并看到这些不可能的任务之一时，你是否经历过一些疯狂的时刻？是的，就像那些根本不起作用的事情开始起作用了。对于复杂的任务，有很多令人愉快的时刻，你会想，它怎么知道在那里寻找？答案是，因为它在显而易见的地方寻找失败了。然后你阅读推理轨迹，你会想，哦，它实际上很聪明。是的。我的意思是，推理轨迹只是，就像，

令人瞠目结舌。这些模型能够有机地解决问题并思考问题，这太美妙了，它们有自己小小的顿悟，它们就像，哦，你知道吗？我应该在这里检查一下，也许发生了这种情况，这就是它不在那里的原因。那

一直以来都非常有益。我想当你与企业交谈时，你如何将 Cohere 在当今生态系统中的位置进行情境化？显然，你拥有大型 AGI 实验室和 OpenAI Anthropic。你有一群开源模型提供商以及与他们合作的人。你如何对这种情况进行情境化？而且，似乎你构建了很多这些——帮助

你帮助这些企业构建了许多用例。你想深入到应用层多远？你想有一个支持产品吗？让我听听你的想法。是的，有了 North，我们正在进入应用层。这完全是因为我们正在销售模型，我们只是不断看到我们的客户一遍又一遍地构建相同的东西。这将花费他们大约一年的时间来构建一个应用程序，该应用程序

使用了模型，呈现了一个 UI，与所有不同的工具和数据源集成，很好地完成了隐私和 ACL 继承工作。

然后它通常是由这些企业内部的 AI 团队构建的。因此，他们不是产品团队。因此，它实际上并不是那么好的用户体验。因此，公司内部的人员不想使用它。因此，我们说，如果我们只是为企业解决整个问题呢？我们将创建一个真正面向消费者的产品体验，人们喜欢使用它。它非常直观，延迟极低，但附带所有……

企业所需的功能，例如完全自定义它的能力。你可以完全自定义 UI，你可以根据自己的需要重新命名它，你可以自定义你的模型能够从中提取的数据连接和来源以及它能够使用的工具。你甚至可以，如果你愿意，比如假设你已经用你的数据训练了一些 LAMA 微调或其他东西，

你可以将 llama 插进去，你可以通过这个应用程序公开它，所以它实际上只是将公司的产品路线图提前了 12 到 18 个月，他们可以立即将这项技术分发到他们的员工手中，嗯，所以这就是我们的努力方向，Cohere 有一些非常好的战略属性，例如我们没有被锁定在一个生态系统中

我们不在一个超大规模计算的生态系统中。我们可以在任何地方部署。我们还以非商业方式发布我们的权重。因此，我们很乐意在 VPC 中部署，因为我们不担心你是否可以访问我们的权重。我们很乐意你这样做。所以我认为，到目前为止，我们是最好的平台。

企业合作伙伴我想知道，因为显然 Cohere 的一件很酷的事情是，你们既有模型开发方面，也有尖端的技术，你知道，你们有一个很棒的研究团队，然后你们还在模型之上构建应用程序，你知道，显然有些人会说，嘿，我们只需要采用现有的最佳模型，然后我们就可以构建支持应用程序，或者我们就可以构建，你知道，无论是什么，我们都不会在模型方面做任何事情，我们只是说，我们会采用这意味着什么？我们会对开源模型进行一些微调

你如何阐明同时构建模型和应用程序的优势，而不是那些只是在底层模型之上构建应用程序的人？我认为我们有更多的杠杆来提供客户需要的体验。因为我们是垂直整合的，我们的生成模型 command 的下一个版本将针对我们知道客户在 North 中需要的用例进行优化。

因此，它知道如何使用 ERP。它知道如何与 CRM 协同工作。因此，技术、模型以及客户实际需求之间的这种整合我认为对产品质量至关重要。这就是原因之一

在我看来，许多现有的应用程序都缺少或没有实现它们向用户做出的产品承诺。他们是技术的消费者。他们可以获取一些 llama 权重或其他东西，但他们无法根据客户的需求改变这项技术。因此，这构成了产品质量的基本障碍。

我很好奇，我觉得在风险投资领域经常争论的一个问题是构建这些 AI 应用程序的正确团队以及你需要多少 AI 专业知识。显然，你可以想象一个范围，从只知道如何微调这些模型但对研究方面不太深入的聪明的斯坦福毕业生，到像你这样的 Transformer 论文合著者。

当你考虑构建这些 AI 应用程序的正确团队时，你通常是如何考虑的？你认为你需要这种深层次的模型知识吗？或者你如何看待这个问题？我的意思是，如果你看看那些正在构建最佳产品的人，他们确实拥有这种知识。

他们确实有。他们对如何构建语言模型非常熟悉。即使他们自己没有训练模型，他们也在试图找到方法来近似地做到这一点，并在模型层尽可能多地产生影响。所以我绝对认为这是构建这些模型的公司成功的关键部分。我们试图为我们的合作伙伴扮演这个角色。所以我们为……

Oracle 和许多其他大型企业 SaaS 公司的 Fusion 应用程序套件中的许多 AI 功能提供支持。因此，我们可以做到，因为我们可以在那个级别进行干预，

无论他们需要什么，我们都会让它发生，我们会让它为他们工作你看到的是，感觉我们的下一个，显然你提到了今天正在运行的那些，我很好奇，你知道，如果你考虑接下来的 12 个月，既有当前的模型能力，也有它似乎前进的方向，比如你认为是什么？我们在这里进行这次谈话，我向你提出了同样的问题，即产品市场契合度是什么？任何你认为“是的，这些似乎很接近”的方面。我认为任何类似深度研究风格的用例

技术已经准备就绪，市场正被它彻底震撼。他们不敢相信。这太超现实了。模型返回了一份报告，这份报告需要花费一个半月的时间才能由一个成本高昂的人员完成，而它在 30 分钟或一个小时内就返回了。所以我认为这非常像它已经准备就绪了。这将被整合到地球上的每一个企业中。这是我们正在大力推进的事情。

除此之外，我认为展望未来，我实际上看到更多日常的后端工作开始上线。当执行这种自动化的基础设施到位时，例如 North，企业自动化这项技术变得越容易，因此一个能够访问它可能需要访问的所有不同工具和上下文信息的系统。

以及构建这些自动化的用户体验，要求模型为我完成某些任务。随着这种基础设施在这些企业中安装和插入，我认为我们将开始看到许多后端任务开始消失，开始被解锁。所以在金融、法律领域都是如此。销售肯定也参与其中。

非常适合这种事情。是的，如果你考虑一下销售人员在与客户会面之前会做什么，

那就是研究。你正在研究这家公司是什么，他们的战略重点是什么，谁在领导我关心销售的努力。然后你还在公司内部进行研究。我们之前与他们进行过哪些对话？结果如何？有哪些障碍？

你需要对即将会见的人进行情报简报，他们关心的一切，他们听到的关于你公司的一切。这会让你在工作中效率大幅提高。

是的，所以我认为销售将是另一个重要的领域。我想，你知道，显然你采用支持、销售，有一大堆公司，就像，那就是他们关注的全部，对吧？无论是 Sierra 和 Sport，还是 Clay 和销售方面的人。就像，你知道，我假设一方面企业希望与一个能够帮助他们解决所有这些问题的供应商合作。另一方面，你知道，如果一个团队整天都在思考这些问题领域中的一个，也许他们会构建更好的工作流程。就像，你知道，你认为我们，你知道，

你认为我们会联合起来，嘿，我是一家企业，我为金融、销售和支持选择最佳的解决方案吗？或者说，我去一个对所有这些事情都有相当好的了解的地方？我认为将会出现一个分散的阶段，然后会整合。所以我认为最初它将分散到所有不同的团队都在购买他们自己的小型应用程序。然后他们会意识到，哇，好吧，就像，你知道，

销售人员并不仅仅存在于他们的 CRM 中。所以我必须将该代理集成到公司内的所有其他信息中。财务团队也是如此。他们并不仅仅存在于他们的 ERP 中。所以我必须集成。所以现在你有了……

所有这些数据源连接到所有这些不同的应用程序的疯狂维护负担，因此将会有强烈的整合趋势，我想要一个连接到所有内容的平台，我可以完成我在……之上拥有的所有不同的自动化目标

所以长期目标是构建这个平台，这就是我们使用 North 所做的。是的，这很有道理。我的意思是，显然所有这些东西都需要相互关联，才能最终真正回答你在研究方面或企业洞察力方面想要回答的问题。我想回顾一下 Cohere 的旅程，到目前为止，哪些关键决策点脱颖而出，你知道，这些决策真的改变了局面，也许是 51 比 49 的决策。有很多……

具有重大战略意义的决定，从在多伦多创业开始，对吧？这一个确实带来了红利。这并非理所当然。我们……

一开始并不知道这是否是正确的想法。我们有一些理由解释为什么它是正确的。你知道，像杰夫·辛顿就在多伦多。加拿大的 AI 生态系统，你知道，伊利亚也从中脱颖而出，像我们很多人一样。在那里创业让我们能够接触到世界上最优秀的人才，并且……

这让我们成为了加拿大 AI 社区或加拿大科技社区的宠儿。我很想知道，你能就此多谈谈。感觉上，你知道，显然在……之间存在着非常有趣的相互作用，你们显然得到了……的大力支持，

加拿大全球生态系统。政府显然对你们正在构建的东西感到非常兴奋。我认为还有一个更大的问题是，感觉上许多国家都想拥有自己的基础模型公司。我很想知道你是否可以谈谈国家政治和优先事项与基础模型之间的交叉点。我们最终是否会拥有几十家公司，因为每个国家都想拥有自己的本土公司？我们最终可能会拥有几家。我认为……

购买与构建问题或合作伙伴与构建问题是一个备受争议的问题。对于 Cohere 而言，我们是高度国际化的。我母亲是英国人，我父亲是西班牙人。我在这两个地方都有护照，也在加拿大。领导团队来自世界各地。

因此，我们试图成为这些国家在采用这项技术和确保这项技术对他们有效方面的合作伙伴。我们与富士通等日本公司的合作，我们正在对我们的模型进行深入的日语投资。我们现在将永远这样做。我们对日本有着深厚的承诺，并确保我们的技术在日语中的效果与在英语中一样好。我们最近宣布与韩国 LG 建立合作伙伴关系，我们正在为韩国做同样的事情。所以我们……

我们当然赞成支持每个人，以确保他们的经济能够采用这项技术，尤其是在大多数人不是以英语为母语或您在该司法管辖区处理的数据不是英语的地方。

我们在 Cohere4AI 开源方面的大量工作，AYA 项目，这是任何机器学习项目中最大的数据收集工作。数千名来自 100 多种不同语言的母语人士贡献了数据。我们将其开源，这样不仅 Cohere 的模型在这些语言中的效果会更好，而且其他所有语言模型也会更好。是的，我们有……

一种信念，即如果这项技术不能说他们的语言并且不能理解他们的文化，那么这项技术将不会对全球大部分人口有用，他们将错过这项技术。因此，我们投入了大量资金，并将继续投入。这非常强大。你有点暗示了这一点，但我很好奇，最先进的 AGI 实验室，

你认为五年后我们将有多少家，以及什么才能让一家公司比另一家公司更好？我们都开始做不同的事情了。因此，出现了这种差异化或战略多样化，并且……

OpenAI 目前显然正在推动消费者前沿。Gemini 将争夺这一桂冠。我知道 Meta 也计划做同样的事情。Anthropic 非常擅长代码。这显然是他们最擅长的事情。而我们专注于企业和业务后台应用程序。因此，每个人都在寻找自己的领域和利基市场。

我不知道。我认为在基础模型公司中，可能会有几十家。这将涵盖很多方面。然后我们将看到新一代的基础模型问世，对吧？例如生物学、化学、材料科学的基础模型。我们将开始看到新一代的东西。是的，我担任 Kaya 的顾问委员会成员。这是一个……

癌症数据和计算共享联盟，包括弗雷德·哈奇和其他一些大型美国癌症研究和治疗中心。这些数据并没有出现在网络上。对。并且存在这样一个问题，好的，如果我们有一个像 GPT 这样的时刻，大量的资金涌入，并且……

应用于这些数据或这些用于治疗癌症的方式之上。我们如何对此建立信心？我们如何在抵消中降低风险？如果我们确实需要向这件事投入 100 亿或 200 亿美元，并且我们可以治愈癌症，假设这就是我们努力实现的结果。我们可以展示哪些步骤？我已经看到了……

这些想法正在出现。随着大型语言模型和这些类似的通用图像、视频、音频、语言模型的出现，还有其他截然不同的领域，如蛋白质序列建模、材料科学等，需要类似的全球努力。

嗯，才能产生同样令人难以置信的进步。是的。而且似乎那里的大事是，最终你可能需要数据生成，对吧？就像……你没有……互联网上没有显示标记。因此，即使……我的意思是，显然癌症数据的许多问题在于它并没有特别好的结构或链接或与……结果相关联，但我们也……知道，对于许多这些生物基础模型公司而言，他们都会启动实验室，对吧。实际上是为了生成更多数据，或者，你知道，在机器人方面，感觉上也存在类似的问题。因此我认为这将是……我认为这最终可能需要成为第一个领域……

投资。然后，你知道，你显然也不会立即获得好处。有时需要 5 年或 10 年才能弄清楚它是否真的有效。但说真的，这是一组令人着迷的问题，我希望最优秀最聪明的人能够解决这些问题。是的，是的。我也是。这些领域有很多数据。

我不知道是否存在标记稀缺性。只是它被隔离并锁在 100 个不同的地方，这些地方拒绝相互分享或相互交流。

数据绝对以足够的数量存在。有趣。因此，更多的是人为问题，而不是数据生成问题。是的，完全正确。听起来很对。我想我还很好奇你对一些较新的基础模型工作的看法，显然，你知道，通过 SSI 和思考机器。就像……你知道，感觉一段时间以来我们可能已经完成了像新的 LLM 提供商这样的工作。然后显然去年出现了一些。你认为我们会看到更多这样的情况吗？有什么反应吗？

是的，我的意思是，我希望大量新公司推出对事物的新看法，并尝试为世界创造有价值的东西。我认为这很好。在技术方面，

关于接下来可能出现的架构有很多争论，以及是否存在更好的架构。我觉得你会有很好的看法，因为你发明了当前的架构。听着，我认为我之前公开说过，我是第一个说“为什么还要使用 Transformer？到底是怎么回事？”的人。是的，我一直都在等待。就像我们命名的那样……

在我们的纽约办公室，我们有一个名为 SSM 的会议室。因为我说，这就对了。Transformer 死了。让我们去 SSM 吧。

但后来事实证明，你可以窃取 SSM 的优点并将其放入 Transformer 中，然后就不需要切换到 SSM 了。现在出现了这些离散扩散模型，它们的用户体验非常酷。就像你开始一样，它就像普通的扩散一样，对吧？你有一堵噪音墙，就像文本中嘈杂的标记墙一样。然后，从虚空中出现了回应。我的意思是，这很酷。

它实际上比 Transformer 更好的语言模型吗？我不知道。我不明白为什么会出现这种情况。所以很难，伙计。你认为在未来五到十年内出现一种新的占主导地位的架构的可能性有多大？哦，上帝，拜托。拜托。如果你在 2018 年，Transformer 论文发表一年后问我……

七年后我们仍然使用 Transformer 的可能性有多大，我会把它放在接近零的水平。所以我不会做出估计。但是，是的，这东西的寿命确实让我感到惊讶。你长期以来一直在进行最先进的 AI 研究。我很想知道，你在过去一年里改变了哪些想法？也许是缩放假设，对吧？

我觉得过去几年我一直很忠于它。有充分的理由忠于这个参与者。也许这就是我改变主意的地方。我的意思是，在我的脑海深处，我一直认为，真的吗？我们需要的所有能力都会从缩放中产生吗？真的吗？这似乎不太可能。是的。

但证据不断出现。只是，是的，我们把它做得更大。现在它可以进行数学运算。你知道，像所有这些东西一样。所以我当时想，是的，我想就是这样。但现在我们已经被证明，真的被狠狠地教训了一顿，那就是……

缩放不会让我们到达那里。是的，我会说所有能力都会从计算上的缩放测试中产生，对吧？这就像另一个缩放向量一样。就像，你同意这个观点吗？或者地平线上是否仍然需要一些算法突破？我的意思是，然后你就像真的在混淆缩放的定义。因为现在很多缩放实际上是数据，以及获得数据的多样性，为模型找到如何在特定领域解决问题的演示。

我不知道它是否与之前的缩放定律一样简单，之前的缩放定律实际上是：“我将构建一台 2 倍大的计算机，并在同一件事上按下运行，损失将下降。”现在硬件方面有什么变化吗？当你考虑未来对硬件的需求时，鉴于我们可能已经走出预训练时代，进入更多测试时计算和其他方法？是的。测试时计算仍然需要大量的计算。

它使推理（无论是什么）的成本高出三到十倍。对于训练而言，它仍然需要大量的计算。但我认为计算的成本会降低，并且每个浮点运算的计算量会增加。现在有多种训练计算选项，以前没有。

所以这对世界和行业来说都是一件非常积极的事情。我们可以将不仅仅是一种类型的芯片连接在一起，并获得一个非常有效的超级计算机来构建模型。

因此，堆栈的计算层上的所有趋势对于我们这些必须消耗大量计算的人来说都是非常好的。对你来说有意义的未来模型里程碑是什么？当最新的最先进模型问世时，你会尝试什么？我认为玩口袋妖怪是 Claude 一个有趣的评估。并不是说你们的任何企业都特别关心这一点。但是每当这些新模型问世时，你尝试的任何东西只是为了获得你认为会有意义的能力突破？我的意思是，为了我自己的……

模型喜欢命令。是的，我做的第一件事就是尝试将其用作我日常工作的一部分，我试图让它自动化我必须做的事情。你自动化的最新是什么？我使用该模型进行很多会议准备，基本上……我们在 North 内部进行深入研究，但它不仅连接到网络，还连接到……我能看到的一切

每个电话记录，我说过的每一句话，我在世界各地的 DM 中进行的每一次对话，它都能看到我生活中尽可能多的内容。

它能够给出极其引人注目的回应。所以是的，就像我的大部分时间一样，对吧？作为首席执行官，我与客户、投资者和人才会面，我需要为这些会议做好准备。这就是我插入它的位置。我无法使用其他模型做到这一点。所以通常当我玩……的时候，

一个新的第三方模型。我做谜语之类的事情。我不知道。所以推理，推理模型非常好。你有什么常用的谜语吗？我有。这是一个……你必须想出一个矩阵，然后根据所有这些信息找出……

谁是谁，以及谁检查哪些框。这是关于拼写单词的。因此，能够将单词分解成其字符的能力，类似于我们知道的模型不擅长的草莓问题，嗯，是相关的。我通常会选择这个。嗯，

然后是数学问题。就像，它能解决数学问题吗？但它会发生变化，对吧？就像模型现在能够做到这一切一样，我已经停止使用数学问题了，因为它解决了所有数学问题。这没有意思。那里没有什么可问的。是的，大部分都是试图打破它，对吧？就像……你试图找到……的边界……

这个模型的应用。好吧，我的意思是，改变方向，你知道，我觉得你显然是原始 Transformer 论文团队的一员，并且……你知道，参与了很多非常有趣的 AI 研究工作。我觉得人们喜欢写这些关于……的文章，你知道，能够实现这些事情的文化。我相信你在构建 Code Hero 研究团队的评论中经常会考虑这一点。你学到了什么，我想，或者你从你参与过的最成功的 AI 研究小组中学到了哪些经验教训？

在 Google Brain，令人难以置信的是，它是一个让真正聪明的人做他们最好工作的家园。你几乎可以完全自由地进行研究，做任何你想做的事情。大量的计算，大量的软件基础设施来使用这些计算，以及真正优秀的人一起工作。所以我认为……

这种设置导致了一些非常有趣的事情。但这并不是提供令人难以置信产品的设置。因此，对于 Cohere 而言，需求是不同的。我们有一个非常有针对性的重点。有一些事情需要完成。我们有一个目标，那就是推动这种自动化，使这项技术擅长使用所有这些不同的软件。

因此，问题集非常集中。你不能做任何你想做的事情。没有时间这样做。因此，我们必须在投资方向上更加专注和有针对性。但我们保留的是优秀的人才、大量的计算以及我在 Google 时感受到的同样具有世界变革意义的雄心壮志。还有一种温暖的文化。我认为……

也许不同实验室的情况有所改变。但当我还在那里的时候，那就像一个非常温暖和有意义的、受欢迎的地方，关心某些事情。所以这是我们……我认为我们保存得相当好的一件事。是的，不，这太棒了。持续改进模型对我们社会的影响是否被低估了？从经验中学习。

一旦模型能够从与用户的交互中学习，仅仅是从你可以构建的角度来看，这种能力就能解锁很多东西。现在，对于一个不这样做模型，我会提供反馈。但是当我开始新的聊天时，它已经忘记了所有这些反馈。这只是浪费时间。如果它不能做某事，我会很生气。然后我会关闭窗口，自己去做。

但是如果一个模型就像一个实习生，嘿，这是它第一次做这件事，它会犯一些错误。我会教它。我会指导它。我会给一些反馈。然后，嘿，看，你做到了。它再也不会……

再也不会犯这些错误了。这是怎么回事？这就像你拥有自己的个性化模型，还是只是将其塞入上下文窗口，或者将其……你知道，放入某个数据库中，你通过 RAG 或其他方式进行绑定，你知道，或者这是如何实现的？好吧，它还不存在。所以我认为人们正在尝试上述所有方法。我认为它可能看起来像……你说的最后一个，就像将其放入可以查询和查找的数据库中，并且总是有先前内容的上下文……

交互历史可供模型在生成时使用。可能看起来像这样。但是，是的，你想想这会解锁什么。我非常投入与这个模型进行交互，因为它正在向我学习。它与我一起成长。它开始了解我，了解我的喜好，了解如何做我需要它做的事情，因为我已经花了这么多时间来教这个东西，我已经把它从我的小实习生变成了像我 2.0 一样。因此，与系统的这种联系是我……

我非常期待。现在，你是对的。感觉上每次你使用模型时，都有一批新实习生刚来上班的第一周。然后你做了一周，然后又是别人的第一周。在某种程度上，这就像土拨鼠日一样。显然，我相信在你使用模型和通用 AI 研究的过程中，你可能开始相信 AI 的进步会比你之前预期的要快。这是否改变了你生活的方方面面或你对未来的看法？

一点也没有。一点也没有。一点也没有。我非常兴奋。我非常兴奋。我认为，你知道，嗯，我父亲是一位癌症幸存者。你知道，嗯，我真的希望，你知道，他活得更久，嗯，并且治疗方法会继续得到显著改善。我希望……我希望我们能够降低成本，并且……

世界上的供应增加。因为我认为我们受到供应限制。我们不是需求受限，这就是为什么我认为不会出现任何大规模失业的原因。我真的不相信这一点。只要我们能够将人们转移到我们需要他们的空间，并且我们可以对人们进行再培训，人类的需求是无限的。

因此，我们完全受到供给侧的限制。因此，这项技术不会取代人们。它将增强他们，让他们做更多的事情，并提供世界想要和需要的东西。所以我对未来感到非常兴奋。但我认为这不是……你知道，乌托邦。我认为这是一个更好的世界。这是一个更好的世界。但这并不是乌托邦。这不像你应该……

你知道，清算你所有的资产，然后永久地去度假之类的事情。是的，不，这只会是一个更好的世界。是的。你在多大程度上担心人们谈论的一些 AI 风险，无论是……你知道，短期风险还是……你知道，存在性风险？我担心它们。我担心坏人能够获得什么样的能力，尤其是在国家层面。我想确保……

自由民主国家是第一个获得它的人，并且他们建立了优势。我担心我们是否具备必要的设施，如果某些工作受到影响，能否促进人们转向新的职业。我想确保我们具备这种将他们转移、再培训并将人们安排到新的、更有成就感的工作的能力。

但我并不害怕 X 风险，比如终结者从盒子里出来，得到我们所有的核武器等等。或者它像恶意操纵人们去做它想做的事情一样。我真的认为这项技术有很多值得担忧的地方，末日情景不应该成为我们让公众和政策制定者关注的地方。

现在。在近期和中期，我们有很多事情需要做好。这是一次引人入胜的对话。我相信很多人会想要深入探讨。我很想向你展望未来。人们可以在哪里了解更多关于你以及你在 Cohere 所做的令人兴奋的工作的信息？你有什么想对我们的听众说的吗？麦克风给你了。

是的，我并没有那么有趣。我认为 Cohere 才是有趣的。所以你可以访问 Cohere.com。你可以在 Twitter 上关注我，你将获得所有关于 AI 的信息。喜欢它。感谢你的邀请，Jacob。