如何训练一个 ChatGPT：预训练获得“智商”，指令微调提升“情商”

模型的训练可分解为预训练基座模型和基座模型的微调。基座模型（Base Model）是经过海量数据预训练（Pre-train）所得到，它具备一定的通用能力， 并将消耗千卡级别的 GPU 算力。这一阶段模型获得了知识，具备了“智商”；但基座模型往往不能很好地胜任下游的各式任务，以 ChatGPT 为例，模型需要通过指令微调，才能具备与人类流畅对话的能力（其中数据集需要包含各种与人类行为、情感相关的指令和任务），使得基座模型在预训练阶段获得的能力被进一步解锁/激发出来，从而实现从“智商”到“情商”的跨越。值得一提的是，模型微调不可避免将带来某些性能上的取舍，例如 OpenAI 在他们的指令微调论文中称其为“对齐税” (alignment tax)。

过去，模型的表现被认为与模型 的规模之间服从 Power Law，即随着模型规模指数级上升，模型性能只能线性增 长；但 Google 的研究者在 2022 年发现，当模型规模达到某个阈值时，模型对某 些复杂问题的处理性能突然呈现快速增长，这种现象则被称为 Emergent Abilities，即涌现能力。例如，研究者发现当大语言模型规模达到一定程度时， 思维链提示（Chain of Thought prompting，CoT）可以显著提升大语言模型的性 能，尤其适用于处理涉及数学或推理的复杂任务：

Zero-shot-CoT：在 prompt 提问的结尾只需附加“Let"s think step by step”这几 个词；

Few-shot-CoT：在 prompt 中给与一些关键推理步骤的示例，让模型学习相 应的推理过程；

我们认为，CoT 的意义在于模型可能已经学到了底层的推理过程而非统计意义 上记住了输入-输出的概率分布，这是模型拥有“智能”的一个重要体现，也显著 打开了大语言模型未来应用的可为空间。