GPT系列模型的发展历程,涌现能力的出现GPT-3.5

对 GPT 路线的执着探索（GPT-1~3）：2018 年 6 月，OpenAI 推出基于 Transformer Decoder 改造的 GPT-1，但其在下游理解类任务的性能远低于同 年 10 月 Google 推出的基于 Encoder 的 BERT；2019 年 GPT-2 推出后，尽管 性能仍不如 BERT，但 OpenAI 发现 Zero-shot 和 Few-shot 的方式可能可以 直接训练一个通用的语言模型；到了 2020 年的 GPT-3，OpenAI 决定直接将 模型参数扩大到了 175B，这一举动正式掀开了大语言模型的序幕；

涌现能力的出现（GPT-3.5）：OpenAI 在 GPT-3 的基础上通过融合指令微调 训练得到的 InstructGPT、基于代码数据训练的 Codex、以及基于人类反馈 的强化学习（RLHF，Reinforcement Learning from Human Feedback），训练 得到了 GPT-3.5，某种意义上实现了大模型能力的“涌现”（在某些复杂能力上实现突破）。GPT-3.5 也成为了开启本轮生成式 AI 浪潮的爆款产品 ChatGPT 背后的核心功臣。

AGI 的曙光已现（GPT-4）：2023 年 3 月，OpenAI 发布了基于 GPT-3.5 的 SOTA（State-Of-The-Art）模型 GPT-4，该模型在多模态和可靠性方面实现 了进一步扩展。从泛化能力的角度，GPT-4 在创造力、图片理解能力、长文本处理能力和回答准确性方面都有所提升；从工程能力的角度看，通过与 Azure 在算力设施上深度定制合作，GPT-4 能够以千分之一的计算量去预测 在一定计算规模下的性能（预测最终模型的 Loss）；从可靠性的角度，GPT- 4 自去年 8 月训练完成后，花费了大量时间做对齐（Alignment），甚至不惜 牺牲部分性能以提升其内容输出的可靠性。