ChatGPT for Absolute Beginners - What is it and how does it work?
24:08 Share

本集由Shopify赞助播出。当您将业务切换到Shopify时，忘记选择电商平台的烦恼吧，Shopify是全球电商平台，可在您销售的任何地方提升您的销售额。使用Shopify，您将利用与全球领先品牌使用的相同的直观功能、值得信赖的应用程序和强大的分析工具。立即注册，享受每月1美元的试用期，网址为shopify.com/tech（全部小写）。网址是shopify.com/tech。

本集由Jira赞助播出。Jira是您规划和跟踪任何团队工作的唯一项目管理工具。因此，如果您是一个开发人员团队，Jira可以更好地将您与市场营销和设计等团队联系起来，让您在一个地方获得所需的所有信息。此外，他们的AI可以帮助您完成琐碎的事情，让您可以专注于交付最佳工作。立即在Jira上开始您的下一个伟大创意。大家好，我是David Shapiro，又来给大家带来一个视频了。

我突然想到，很多人都是GPT和ChatGPT的新手，所以您可能对它的工作原理有一些疑问。在我们开始视频之前，我想请您关注我的Patreon页面。现在，我发布了很多完全免费的内容。我想帮助让世界变得更美好。

通过分享我的知识。作为回报，我希望我能得到更多对我工作的支持。因此，如果您觉得我的内容有价值，请访问Patreon并考虑支持我。支持我在Patreon上，您将获得两大优势。第一，您可以访问我的独家博客。第二，我已经开始上传Patreon独家视频了。所以，话不多说，

让我们开始今天的演示吧。什么是ChatGPT，它是如何工作的？

ChatGPT是由一家名为OpenAI的公司开发的。OpenAI几年前成立，是一个开源联盟，或者说不是联盟，只是一家公司，一家开源公司，其目标是创建安全的AGI。这是OpenAI最初的主要目的。现在，它已经发生了变化。它现在是闭源的，也是营利性的。

因此，显然，它因此受到了一些批评，因为它与最初的成立宗旨相悖。但他们仍然会不时发布开源代码。好的，首先，在我们深入了解ChatGPT之前，我们必须回答这个问题：什么是GPT？GPT代表生成式预训练变换器。

它是一种基本上只读取和生成文本的技术。这就是GPT所做的长话短说。它经过训练，它是一个深度神经网络，经过训练可以预测下一个标记。现在，标记只是说几个字符的一种花哨的方式。当然，您可以将字符组合在一起构成单词。您在页面上阅读的所有内容都是一系列字符、换行符、句点、空格、字母等等。

所以说它只经过训练来预测下一个字符，这有点具有误导性。现在，您可能会说，好吧，如果它只做这些，它怎么会如此强大呢？它之所以如此强大，是因为为了准确预测下一个字符，您需要拥有大量的知识和其他能力。这就是它随着时间的推移学习嵌入到其神经网络中的内容。

所以您可能会听到“嵌入”这个词。您也可能会听到“潜在空间”。我们将在接下来的几张幻灯片中讨论这个问题。例如，它知道如何编写清单，因为它阅读了数百万个清单。它也知道如何编写代码，因为它阅读了大量的代码。因此，仅仅通过预测接下来会发生什么，它就学会了弄清楚接下来会发生什么。它接受了数十亿个标记的训练。

现在，最简单的理解方式是，它就像您手机上可能拥有的自动完成引擎，但它是增强版的。它不仅仅是随机预测下一个单词，你知道的。有些人确实说它是一个随机引擎。并非如此。它比这复杂一点。

但它是一个增强版的自动完成引擎。现在您可能会说，人脑也是一个自动完成引擎，因为我们有预测和生成模式的能力。但这将是另一个视频的主题。接下来您需要知道的是，GPT有多种类型。它有两种类型。一种是它有不同的尺寸。所以有大一点的和小一点的，都是用参数计数来衡量的。

参数计数基本上是该神经网络内部连接的数量。一两年前发表的一篇论文指出，对于这些神经网络来说，深度神经网络中大约一千个参数相当于一个人类神经元的处理能力。

因此，对于GPT来说，我们所知道的最大模型是1760亿个参数，这大约相当于人脑中1.76亿个神经元。因此，就原始处理能力而言，它仍然比人脑小得多。当然，这是如果那篇论文成立的话。我们通常会随着时间的推移调整我们对人脑能力的看法。

现在GPT，好吧，1760亿个参数。运行它需要多少计算能力？

它大约需要700GB的VRAM。我认为是768GB左右。因此，大约需要90台Xbox或最多100台Xbox One才能运行ChatGPT或GPT。这并不一定就是他们正在使用的，但这只是一个粗略的估计。再说一次，你知道的，谨慎对待。可能更多，也可能更少。哎哟。

因此，就大小而言，它有多种类型，但就其训练或微调的目的而言，它也有多种类型。我的意思是，最初训练的只是为了预测下一个标记的模型，我们称之为香草模型或基础模型。现在基础模型非常强大，但它们也往往会偏离轨道。

这是因为它们只是预测下一个标记，而且非常随意。它们没有经过训练来做任何一件事情。它们只是预测下一个标记，这使得它们能够非常深入地捏造事实或发明自己的任务。因此，我们所做的是，我们已经有了微调的数据集

这给了我们Codex、Instruct，现在是ChatGPT。我们稍后将讨论这些微调的数据集是如何创建的。但关于微调的关键一点是

它基于一种称为迁移学习的技术，您拥有预训练的模型，将其拆开，在末尾添加一层或两层，然后使用新的数据集在新任务上对其进行训练。但关键是，与其在数十亿个标记上对其进行训练，不如只用几千个标记在一个特定的新任务上对其进行训练。数千或数百万。请稍等一下。

对不起，我生病了，正在康复，所以我正在喝Pedialyte。好的，所以它有多种类型。现在，ChatGPT类型是如何创建的？ChatGPT类型使用RLHF，或带有人类反馈的强化学习。因此，这种训练方法是

您有一个强化学习模型，它使用来自人类的信号，基本上是说，例如，它会尝试生成，它会生成一些文本并询问您，您是否喜欢这个，是或否？人们会说“是”或“否”，“好”或“坏”。然后，RLHF模型学习预测人们想要什么。

因此，一旦您拥有一个可以准确预测人们想要什么的强化学习模型，它基本上只会说您是否喜欢这个？是或否，这使您可以非常快速地自动标记大量数据。因此，他们所做的是，他们使用了这种RLHF方法来创建一个新的数据集，因此超越了大多数人熟悉的Instruct和Codex，并且

现在有一个ChatGPT的数据集。因此，基本上，我在这里最后写道，人们更喜欢冗长而详尽的回复。这就是ChatGPT学习沟通的方式。仅仅因为它给出了一个回复，人们给了它一个赞或踩。这就是它前进的方向。现在，它的记忆是如何工作的？

因为ChatGPT最显著的特点之一是，您可以与它进行相当长的对话，而且它似乎拥有相当长的记忆，这是使其非常强大的原因之一。因此，关于GPT技术需要知道的一点是，它有一个窗口大小，窗口大小是它可以读取和生成的文本总量。例如，Text Da Vinci 03是目前较大的模型之一，其窗口大小为4000个标记

据说ChatGPT的标记窗口大小为8000个标记。因此，当您认为平均每个单词有三个到四个标记时，这包括空格、连字符和空白，这相当于大约10页文本，或多或少。可能是15页，取决于页面上的内容。所以最明显的方法是

ChatGPT只是拥有所谓的滚动窗口。

它读取您聊天记录的最后10页，如果您进行的是简短的聊天，这意味着它可以读取整个聊天记录并继续对话，这与自动完成的范例相同，只是预测下一个文本，因为它已经阅读了大量的聊天记录，并且它遵循一个特定的模式，即它会给出非常冗长的回复。

现在，关于它的记忆是如何工作的，还有一些其他的可能性。再说一次，OpenAI不再是开放的。这是闭源的，因此它是专有技术。它也是营利性技术。所以最后这部分是AI社区纯粹的推测。它可能会使用搜索或记事本。我们所说的搜索是指您可以搜索您提供给它的每个聊天记录。因此，一旦您进行了非常长的聊天对话，

它将不再适合窗口。但是，根据当前对话中发生的情况，它可以使用它来排队并在较旧的消息中查找以了解发生了什么。它还可以使用所谓的记事本，这基本上是一个在旁边保留的运行摘要

或一个在旁边保留的持续摘要，它可以用来跟踪信息，无论它追溯到多远。再说一次，这完全是假设性的。我们不确定它是否就是这样做的。我还想尝试实现另一种可能性，我没有在这里列出，那就是它可以在您进行对话时构建对话的知识图谱。

这意味着它会不断更新和跟踪新的主题和内容，然后它可以在知识图谱中遍历并提取信息。我认为它不会这样做，但未来的版本绝对可以。现在，为什么它如此强大？为什么ChatGPT如此强大，以至于席卷互联网？

好吧，需要注意的一点是，它拥有大量的潜在空间。由于它已经阅读了互联网的很大一部分，这意味着我们甚至不知道它知道什么。我们对它知道什么有一个很好的了解，但我们甚至没有很好的基准来衡量这些模型的强大程度。事实上，不断有新的基准出现，因为旧的NLP基准实际上并不重要。它无法以正确的方式衡量智力。

因为我们现在拥有的那些旧基准是用于NLP，即自然语言处理。我们现在正在做的是自然语言理解和自然语言生成。所以它是一个完全不同的技术范畴。因此，这个潜在空间或这些嵌入是我之前提到的，通过弄清楚预测下一个标记需要什么，它也嵌入了很多知识或具有很多潜在的能力。

所以这是它如此强大的一个方面。它如此强大的另一个方面是，您的大脑正在与机器互动。所以它就像一个实用机器人，这就是我选择R2-D2图片的原因。R2-D2本身并没有做太多事情，但它拥有您不具备的能力。同样，ChatGPT也拥有您不具备的能力。所以你们互相补充。

因此，您的大脑比ChatGPT拥有更好、更快的记忆力，因此您可以记住对话中发生的事情。您还可以自发地提出指令。ChatGPT做不到。因此，ChatGPT的工作方式与您不同，但它做得更快。因此，通过做这种不同类型的工作并做得更快，它减轻了您很多心理负担，这就是它如此强大的原因。

拥有实用机器人的想法也是一样的，它可以做一些您做不到的事情，例如R2-D2可以入侵计算机。它比任何人都快得多，然后R2-D2会跟着你走。那么ChatGPT会进化成R2-D2吗？也许吧。那将会很酷。现在，让我们谈谈ChatGPT为我们带来了什么改变。最重要的一点是，ChatGPT是第一项席卷全球的AI技术。这是AI已经准备就绪的最大证明。

因此，首先会发生大量投资。我的意思是，一旦一项技术在商业上准备就绪，一旦它在商业上可行，那么就会投入大量资金。我们在电动汽车和太阳能方面也看到了同样的情况，因为长期以来，像电动汽车和太阳能这样的东西并不具有成本效益。但现在它们是了。当然，关于电动汽车是否真的具有成本效益存在一些争论，但太阳能绝对是。

这就是为什么对太阳能的投资速度正在加快的原因。因此，现在世界知道AI是真实的，并且它有效，因为ChatGPT易于使用，并且价值显而易见，资金正在涌入。

好的，这就是它带来的第一个变化。需要一段时间才能证明这一点。并且需要一段时间才能实施和部署它，因为ChatGPT只是一个原型。它还没有准备好用于商业用途。它现在非常有用。我一直在使用它。这只是第一版。想象一下第二版或第十版。它将变得指数级地更强大。但是，还有很多其他问题需要解决。

主要是安全问题。我们如何正确使用它？我们如何在不造成任何伤害的情况下使用它？我们如何确保它不会造成比好处更多的损害？

因此，需要进行很多改进。这就是它带来的重大变化，所以有窗口大小、记忆长度，我之前已经提到过其中一些主题。它需要能够更好地遵循指令，因为有时如果您使用ChatGPT，您可能会注意到它仍然会陷入困境，您可以纠正它并说，不，这不是这样做的方法。有时它会听，有时它不会。

最重要的事情之一将是与外部信息来源或其他API集成，因为现在它被封闭在一个小小的瓶子里。但是，像ChatGPT这样的技术可以改变的一件最重要的事情是，一切事情都可能变得更快。所有科学、所有教育、所有创造力、所有商业，所有事情都可能因为这项技术提供的认知卸载而变得更快。

好的，那么ChatGPT的局限性和缺点是什么？首先，运行它非常昂贵。正如我们前面提到的，运行它大约需要90台Xbox One。显然，他们并没有使用这些。运行这些的计算机非常昂贵。而OpenAI对此并不公开。这是另一个很大的缺点。但是，由于这项技术非常有价值，因此有许多新兴的竞争对手。

所以，我们将在2023年看到巨额投资，人们试图制作ChatGPT的克隆。我有一个视频系列，我从这里开始，已经有数十甚至数百人正在开发ChatGPT克隆。

存在巨大的破坏潜力，例如失业、新的就业机会以及新的生活方式。最大的缺点可能是安全和隐私，例如数据安全。您与ChatGPT进行的对话，如果泄露，可能会被用来对付您。或者至少，这可能会非常尴尬。好的，最后一张幻灯片。2023年的下一步是什么？好吧，我们已经开始行动了。

2023年将是奇点的第一年。记住我的话，我们将记住2023年是奇点开始的一年。另一个更枯燥的术语是第四次工业革命。

将会有大量资金投入这些技术，以及大量的新产品和服务。我们将看到非常迅速的变化，因为我们正处于一个临界点。因此，如果您回顾过去，从批量生产汽车的引入开始，我认为从批量生产汽车的引入到基本上不再使用马匹，大约需要14年时间。

我们将看到比这更快的变化，因为我们正处于一个临界点。而且由于这些技术相对来说非常快速且易于部署，你知道的，制造一百万辆汽车需要很长时间。在ChatGPT上获得一百万用户只用了三天时间。因此，变化的速度将非常快，很难预测到2024年1月第一周，我们将身处何方。

好的，就是这样。感谢您的观看。再次感谢您考虑在Patreon上支持我。网址是patreon.com/DaveSchapp。我的目标是能够全职从事这项工作，以便我可以继续免费发布内容。感谢您的观看，祝您一切顺利。