Behind Closed Doors: OpenAI's GPT-5 Deliberation
10:56 Share

快乐星期一。我希望你们一切都好。我在外地待了一个月后终于回到了亚利桑那州，所以回到工作室感觉真好。今天我们有一个关于OpenAI的主题，那就是为什么OpenAI特别地，它的ChatGPT 4及以后的训练目前没有在GPT 5上进行。

这样做的原因，以及为什么这可能有点误导，以及为什么他们说他们将不再制作更大的AI模型。所以让我们开始今天的播客。嗯，我们今天讨论的一些内容来自一些采访。

OpenAI的首席执行官Sam Altman最近在MIT接受了采访。嗯，他在这次采访中说，他认为我们正处于一个时代的结束，在这个时代，我们将看到这些巨大的模型，并且他们将找到其他方法来改进它们。这非常有趣，值得深入探讨这意味着什么，但本质上，他的意思是，这可能是我们不断看到这些模型越来越大的时代的结束。

这很有趣，因为他们实际上并没有公布GPT 4模型中有多少参数。当他们推出第一个GPT 2时，大约有17亿个参数；当他们推出GPT 3时，也就是他们在去年12月、1月面向大众推出的常规ChatGPT版本，它拥有1750亿个参数。所以这个东西从……这个东西变得非常大。然后当GPT 4推出时，他们实际上并没有宣布它变得有多大。

我对这件事的看法是，嗯，有几点。首先，他们可能试图保护一些知识产权，所以没有公布模型有多大。这可能是他们只是不想让人们知道它有多大，因为它太庞大了。这样做的原因是，你知道，竞争对手会问，你们是怎么得到这么多数据的？嗯，最近有一些事情，例如，埃隆·马斯克关闭了直接提供给OpenAI的Twitter API。

他们一直在抓取宇宙中所有Twitter数据，所以我认为他们可能拥有非常庞大的数据量，他们不想让人们知道它有多大，或者他们如何能够有效地处理它。另一个有趣的想法是，它实际上并没有比GPT 3大多少。他们只是找到了微调不同案例的方法，他们只是不想让人们知道他们在做什么。

他们不想让竞争对手知道他们在做什么，因为已经有少数大型竞争对手带着大量资金涌现。Anthropic、埃隆·马斯克有传闻说正在与Twitter合作开发一些AI模型，还有谷歌，以及许多专注于创建这些大型AI模型的人。

所以我认为他们只是不想让人们知道他们有多少参数，以及他们如何能够如此有效地做到这一点。还有一种可能性是，他们可能拥有如此庞大的数据量，以至于人们会感到震惊，你知道，你们是怎么收集所有这些数据的？但这非常有趣，但显然这些东西不会变得更大。也就是说，OpenAI可能已经达到了他们能够吸入真空的数据量的最大值。

他们已经超越了仅仅获取新数据。众所周知，一切都在2021年被切断了。除此之外，这并不是什么大问题。更新实时内容，因为现在他们只需将互联网连接到它，对于任何超出此范围的内容，他们只需使用互联网来抓取和搜索并提取相关内容，就像谷歌和必应目前正在做的那样。所以这将非常有趣。

嗯，我认为Altman的声明几乎表明，GPT 4可能是从仅仅用越来越多的数据来扩展这些模型中出现的最后一次重大进步，而我们现在将开始看到实际的进步，因为显然，随着你扩展到更多数据，你会得到递减的回报，或者也许他们真的拥有如此多的数据，实际上没有太多可以做的了。所以我认为我们将开始看到这种进步的新方法，仅仅来自我们如何使用这些Transformer模型。Cohere的联合创始人Nick Frosst，他以前曾在谷歌从事AI工作，他说，当他听到Altman谈论此事时，他认为这是真的，他认为运行GPT等模型的Transformer模型的进步，真正能够使这些东西扩展开来，他说有很多方法可以使Transformer模型更好、更有用，其中许多方法不涉及向模型添加参数。他还说，他认为基于人类反馈的架构和进一步微调是研究人员目前可能正在研究的非常有希望的方向，以使这些东西更有效。

如果你考虑一下，OpenAI和ChatGPT拥有这个领域中最大的用例，特斯拉在自动驾驶方面也是如此，因为他们有所有这些汽车在路上行驶，能够捕获所有这些数据，并且能够看到几乎每一次，例如，在特斯拉的情况下，如果你使用Autopilot，并且用户必须抓住方向盘接管，特斯拉将能够查看导致手动接管的情况，这本质上是使用人类反馈来帮助微调模型，并说，哦，它做错了什么，因此人类不得不接管。所以你知道，我一直说，对于像特斯拉这样的汽车来说，其他公司很难达到同样的自动驾驶水平，因为他们拥有如此庞大的用户群来提供数据，OpenAI也处于同样的境地。

他们推出了ChatGPT，他们拥有超过一亿月活跃用户，可能远远超过这个数字。所有这些用户，你知道，每条来自ChatGPT的消息都有点赞和点踩。所以人们会告诉它答案好还是坏，所以这有助于微调它。

此外，如果你问一个问题，它拒绝了，并再次询问，它也知道，嘿，第一个答案不好。所以他们拥有所有这些内置的东西，他们可以使用这些东西来根据他们目前拥有的所有用户进行微调。

因此，对于他们来说，除了其他微调之外，可能实际上并不需要继续使用更大、更大的数据集进行扩展。但是，像用户一样，一个字面意义上的人说这是一个好答案还是坏答案，是他们训练这些东西的最佳方法之一。他们只是拥有最大的用户群。

而且，基于此，许多其他公司很难赶上。所以你知道，这非常有趣，显然，当GPT 4即将推出时，所有这些媒体和技术人员都在猜测，并在这些图表中发布，例如，GPT 3是在17亿个参数上训练的，GPT 4将是……远远超过数万亿个参数。

我们真的不知道GPT 4是什么。而且现在似乎并不重要。所以，鉴于所有这些，另一件非常有趣的事情是，你知道，Sam Altman还说，该公司不会训练GPT 5。他们说，我们一段时间内都不会进行这项工作。

这很有趣，因为这一切都发生在埃隆·马斯克和许多其他技术人员签署了一封公开信之后，这封信写给政府，但实际上是写给广大公众的，显然是针对OpenAI的，他们认为不应该训练超越GPT能力的AI模型。嗯，OpenAI显然没有说，好吧，当然，我们不会这样做，因为你知道，埃隆·马斯克等人的观点是……

现在看来，他似乎正在创办一家AI公司。所以，看起来很多呼吁不要再进步的公司可能都在试图迎头赶上。所以，这只会对他们有利。

但真正有趣的是，你知道，Sam Altman显然不想要负面公关，也不想被视为那个盲目冲向某种巨大AI灾难的人，所以他总是说他想表现出以一种衡量和深思熟虑的方式来处理事情，所以对此我对他表示赞扬，但他表示，我们目前没有在开发GPT 5。我们只是致力于训练或改进GPT 4，就是这样，我认为这是……这是房间里的大象，我想，这是大家意料之外的，是一个大秘密。每个人都称之为改进GPT 4，这实际上是在开发AI的下一个版本。我不是说这是一件坏事。

我只是说，人们说，哦，很好，他没在开发GPT 5，这很有趣。GPT 4.5和GPT 4.6有什么区别？你可以一直称之为GPT 4.something，这实际上可能是其他人所说的GPT 5、6或7。这有点好笑。

我的意思是，你看iPhone也是一样，对吧？人们误以为如果数字变大了，模型就变好了，它一定好得多，就像你知道，iPhone 10出来后，iPhone 11出来后，很多时候，你知道，这些iPhone实际上并没有那么大的区别。而反过来似乎是正确的，你不需要用GPT 4、GPT 5等更大的数字来标记它，突然之间，人们就会说，哦，酷，你知道，要到GPT 5了。

如果将互联网连接到GPT 4并创建了所有这些疯狂的东西，这可能是GPT 10，但我们只是称它为较低的东西。所以我认为这是……我的意思是，OpenAI做得很好，进行了公关控制，你知道，进行了损害控制。就我个人而言，我认为，你知道，改进它显然必须为许多不同的事情而做，确保它是安全和有能力的。

但这只是人们误以为如果他们关心AI的进步，他们就会庆祝GPT 5正在开发中。所以我认为这个声明并没有真正被人们重视。但这很有趣，值得注意的是，鉴于之前的讨论，看来，即使他们开始开发GPT 5，在参数和数据方面，它可能也不会比GPT 4大多少。所以，看看所有这些AI和技术进步将会发生什么，这将非常有趣。这将是一个值得关注的领域，看看GPT 4的这些改进在未来究竟是什么。