什么造就了生成式AI的强大能力？

人工智能已发展多年，历经专家模型、机器学习、深度学习多个阶段。今天生成式AI 之所以火热，是因其相较传统AI，在“对话”与“创造”两类能力上实现了根本性的突破。

•      就“对话”能力而言，过去的机器在回答问题时往往缺乏对上下文的理解，导致答案 相关性较低，表达机械化；而如今的生成式AI 能够理解更长的上下文，并进行拟人化 的思考和回答，与人类的对话沟通也更自然；

•      在“创造”能力方面，以往的机器只能按照预设任务（如分类、数值预测）输出答案； 而现在，生成式AI 能够自动生成自洽的图形、文本甚至代码，具备优秀的内容创作 能力。

那么生成式AI 背后的大模型，又是如何形成了突破性的对话和创造能力？这离不开科 学和工程的双重进步。

一是科学的进步，即算法的突破。AI 算法的本质在于特征提取。基于Attention Layer 的Transformer 技术，是一种新的模型架构，能更好地提取“全局”特征，因此模型的效 果更好。Transformer 技术使机器能高效捕捉海量语料中一个个词之间的关系，或者海量 图片中一个个像素之间的关系，使得大量的知识（本质上表现为词语之间的关系）能被封装 在训练好的模型中。由于该模型架构强大的能力，在2018 年Transformer 技术出现后，三 分天下的AI 应用领域（计算机视觉、语音识别和自然语言处理）逐渐形成大一统趋势。以 前各个领域有一套适配其应用场景的模型架构，如今Transformer 可相对较好地处理各类 场景的问题。

二是工程的进步，即超大规模的算力和数据的支持。由于基础设施的进步（高算力芯片、 高速网络），模型的训练规模较之前深度学习阶段有了数量级的显著跃升。深度学习时代 的模型参数通常只有百万量级，只能训练几亿级的文本且还需要人工标记；但以 ChatGPT  为例的大模型参数可达1,750 亿，能训练数万亿级的单词文本且预训练不需要人工标记。  正因为训练的语料和参数在量级上的突飞猛进，使大模型体现出的能力远超以前。同时，  也因为足够大到能训练和封装几乎全科领域的知识，大模型能表现出很强的“通用性”能 力，即一个大模型可以在结合精调后运用到多个完全不同的场景。