GPT的一生

OpenAI联合创始人Andrej Karpathy在Microsoft Build 2023上发表了题为“State of GPT”的演讲。核心内容包含两点：

1. 如何训练自己的GPT助手。
2. 如何在自己的应用中高效的使用GPT助手。

其中第一部分的介绍涵盖了GPT训练的全过程，包含大量的细节与原理。我将其概括为GPT的一生。

上图是讲演幻灯片中的一页，将GPT的一生分为4个阶段：预训练（Pretraining）、有监督的精调（Supervised Finetuning）、奖励建模（Reward Modeling）以及强化学习（Reinforcement Learning）。如果将GPT模型比作一个人，那这四个阶段可以类比为：婴幼儿、中小学生、大学生与社会人。