GPT-1

    2018 年年中，就在 Transformer 架构诞生⼀年后，OpenAI 发表了⼀篇题 为“Improving Language Understanding by Generative Pre-Training”的论文，作者是 Alec Radford 等⼈。这篇论文介绍了 GPT，也被称为 GPT-1。在 GPT-1 出现之前，构建高性能 NLP 神经网络的常用方法是利用监督学习。这种学习技术使用大量的手动标记数据。以情感分析任务为例，目标是对给定的文本进行分类，判断其情感是积极的还是消极的。⼀种常见的策略是收集数千个手动标记的文本示例来构建有效的分类模型。然而，这需要有大量标记良好的监督数据。这⼀需求限制了监督学习的性能，因为要生成这样的数据集，难度很大且成本高昂。接下来回顾 OpenAI 的 GPT 模型从 GPT-1 到 GPT-4 的演变历程。

    在论文中，GPT-1 的作者提出了⼀种新的学习过程，其中引入了无监督的预训练步骤。这个预训练步骤不需要标记数据。相反，他们训练模型来预测下⼀个标记。由于采用了可以并行化的 Transformer 架构，预训练步骤是在大量数据上进行的。对于预训练，GPT-1 模型使用了 BookCorpus 数据集。该数据集包含约 11 000 本未出版图书的文本。BookCorpus 最初由 YukunZhu 等⼈在 2015 年的论文“Aligning Books and Movies: Towards Story-likeVisual Explanations by Watching Movies and Reading Books”中给出，并通过多伦多大学的网页提供。然而，原始数据集的正式版本如今已不能公开访问。

    GPT-4 和 ChatGPT 基于⼀种特定的神经网络架构，即 Transformer。T