未来驾驶革命：2023中国智驾大模型应用研究报告

目前，智驾大模型没有一个公允定义，并且产学研不同领域的专家对智驾大模型的定义也不一样，但结合各专家的观点来看，智驾大模型具备多模态输入、自监督学习、端到端学习范式以及大规模参数的特征。但是，相比于通用类大模型，智驾大模型的主要差异在于：部署难度高、数据维度广以及模型设计复杂。

• 亿欧智库认为，智驾大模型指的是在云边端一体化的架构下，利用云端算力优势训练大规模多模态数据，然后再结合边端的计算能力，通过多任务的学习和分布式训 练为车辆提供更有效的感知融合效果与实时建图方案，最终让车端实现与人类司机行为和思维一致的感知、预测、规划等能力。

• 智驾大模型最重要的应用是数据闭环，相比于传统数据闭环而言，当前的数据闭环对自动驾驶系统赋能最多的主要是数据挖掘、自动标注、模型训练、仿真测试四个 应用方向。从感知侧的数据采集开始，会先根据筛选器的设置来进行数据挖掘，随后通过自动化标注来对数据打标签，再对原模型反复训练并经过仿真测试后，最后 对车端小模型进行优化，在经过反复地不断迭代循环后，使得整个数据闭环能力能够不断提升。

• 对于已布局或正将布局的企业，智驾大模型玩家主要可分为四类，其中新势力主机厂以自研为主，而传统主机厂持有保守观望的态度；科技企业凭借强大的AI技术背 景和资本实力，构建了以云服务为基础的垂直服务体系；Tier1以自研基于BEV感知的垂域大模型为主；芯片企业主要是优化芯片的开发生态，以便客户能在自家芯片 上更容易地部署BEV+Transformer等大规模参数的模型。

2021年，特斯拉提出了BEV+Transformer的大模型，该模型也成为了之后国内玩家布局大模型的基础。至2023年，智驾相关大模型开始大量出现， 如华为盘古大模型、百度文心大模型、毫末DriveGPT等。

从多传感器的融合趋势来看，目标级融合（后融合）是当前行业内主流的融合方案，虽然算法开发难度较低，但融合精度较低、关键信息易缺失， 不适合未来融合趋势的发展。数据级融合（前融合）是行业发展的目标，但技术壁垒高，短期内方案落地较难。所以，在不丢失关键信息的基础上， 特征级融合（中融合）成为了一种合适的中间过渡形态，也更适合在当前流行的Bev+Transformer模型架构下，实现大规模多模态数据的融合。

基于规则算法的目标级融合方案，只能识别出目标物的部分特征，甚至会出现无法识别目标物的情况，导致在最终融合结果上出现误报、漏报等情 况。相反，基于BEV+Transformer的特征级融合方案，可以通过注意力机制提取目标物特征，并在鸟瞰图下“脑补”出完整的目标物信息，有利 于提高整体感知融合精度。