更新：我们深入研究了广受欢迎的人工智能聊天机器人ChatGPT的内部工作原理。如果你想知道它的生成人工智能魔力是如何发生的，请继续阅读。

Google、WolframAlpha和ChatGPT都通过单行文本输入字段与用户交互并提供文本结果。谷歌返回搜索结果、网页和文章列表(希望)提供与搜索查询相关的信息。WolframAlpha通常提供与数学和数据分析相关的答案。

(资料图片仅供参考)

相比之下，ChatGPT根据用户问题背后的上下文和意图提供响应。例如，你不能要求Google写一个故事或要求WolframAlpha编写一个代码模块，但ChatGPT可以做这些事情。

从根本上来说，Google的强大之处在于能够进行大量数据库查找并提供一系列匹配。WolframAlpha的强大之处在于能够解析与数据相关的问题并根据这些问题执行计算。ChatGPT的强大之处在于能够根据世界上大多数可数字访问的基于文本的信息(至少是2021年之前训练时存在的信息)解析查询并生成完全充实的答案和结果。

在本文中，我们将了解ChatGPT如何生成这些完全充实的答案。我们将首先了解ChatGPT操作的主要阶段，然后介绍一些使其正常运行的核心AI架构组件。

除了本文中引用的来源(其中许多是每种技术背后的原始研究论文)之外，我还使用ChatGPT本身来帮助我创建此背景资料。我问了它很多问题。一些答案是在本次讨论的整体背景下解释的。

ChatGPT操作的两个主要阶段

我们再用谷歌来打个比方。当你要求谷歌查找某些内容时，你可能知道它不会——在你提出要求的那一刻——出去搜索整个网络来寻找答案。相反，谷歌会在其数据库中搜索与该请求匹配的页面。Google实际上有两个主要阶段：蜘蛛抓取和数据收集阶段，以及用户交互/查找阶段。

粗略地说，ChatGPT的工作原理是相同的。数据收集阶段称为预训练，而用户响应阶段称为推理。生成式人工智能背后的魔力及其突然爆发的原因是预训练的工作方式突然被证明具有巨大的可扩展性。这种可扩展性是通过最近在经济实惠的硬件技术和云计算方面的创新而实现的。

人工智能预训练的工作原理

一般来说(因为要了解具体细节需要花费大量时间)，人工智能使用两种主要方法进行预训练：监督和非监督。对于大多数人工智能项目，直到当前的生成式人工智能系统(如ChatGPT)，都使用了监督方法。

监督预训练是在标记数据集上训练模型的过程，其中每个输入都与相应的输出相关联。

例如，人工智能可以在客户服务对话数据集上进行训练，其中用户的问题和投诉被标记为客户服务代表的适当答复。为了训练人工智能，需要提出诸如“如何重置密码?”之类的问题。将作为用户输入提供，并且诸如“您可以通过访问我们网站上的帐户设置页面并按照提示操作来重置密码”之类的答案将作为输出提供。

在监督训练方法中，整个模型被训练以学习可以准确地将输入映射到输出的映射函数。该过程通常用于监督学习任务，例如分类、回归和序列标记。

正如您可能想象的那样，其扩展方式是有限的。人类培训师必须花很大力气来预测所有的输入和输出。培训可能需要很长时间，并且主题专业知识有限。