如何训练一个 ChatGPT:预训练获得“智商”,指令微调提升“情商”

 来源:财通证券     编辑:管理员      时间:2023/10/8
 

模型的训练可分解为预训练基座模型和基座模型的微调。基座模型(Base Model)是经过海量数据预训练(Pre-train)所得到,它具备一定的通用能力, 并将消耗千卡级别的 GPU 算力。这一阶段模型获得了知识,具备了“智商”;但基座模型往往不能很好地胜任下游的各式任务,以 ChatGPT 为例,模型需要通过指令微调,才能具备与人类流畅对话的能力(其中数据集需要包含各种与人类行为、情感相关的指令和任务),使得基座模型在预训练阶段获得的能力被进一步解锁/激发出来,从而实现从“智商”到“情商”的跨越。值得一提的是,模型微调不可避免将带来某些性能上的取舍,例如 OpenAI 在他们的指令微调论文中称其为“对齐税” (alignment tax)。

过去,模型的表现被认为与模型 的规模之间服从 Power Law,即随着模型规模指数级上升,模型性能只能线性增 长;但 Google 的研究者在 2022 年发现,当模型规模达到某个阈值时,模型对某 些复杂问题的处理性能突然呈现快速增长,这种现象则被称为 Emergent Abilities,即涌现能力。例如,研究者发现当大语言模型规模达到一定程度时, 思维链提示(Chain of Thought prompting,CoT)可以显著提升大语言模型的性 能,尤其适用于处理涉及数学或推理的复杂任务:

Zero-shot-CoT:在 prompt 提问的结尾只需附加“Let"s think step by step”这几 个词;

Few-shot-CoT:在 prompt 中给与一些关键推理步骤的示例,让模型学习相 应的推理过程;

我们认为,CoT 的意义在于模型可能已经学到了底层的推理过程而非统计意义 上记住了输入-输出的概率分布,这是模型拥有“智能”的一个重要体现,也显著 打开了大语言模型未来应用的可为空间。


 信息推荐
» GPT系列模型的发展历程,涌现能力的出现GPT-3.5
GPT-4模型在多模态和可靠性方面实现 了进一步扩展,在创造力、图片理解能力、长文本处理能力和回答准确性方面都有所提升
» ChatGPT的影响-预示人工智能进入AI2.0时代
ChatGPT展现出的认知水平要求人们更注重提出问题和独立判断的能力,ChatGPT在提高生产力方面潜力巨大,ChatGPT的成功为国内人工智能学术界带来机遇与挑战
» 为何ChatGPT无法保证结果为真
哥德尔证明了不完全性定理,而 Tarski 得到了著名的真之不可定义定理,这些都说明在复杂一点的符号系统内部,不可能解决何为真,何为假的问题
» ChatGPT订阅计划得到用户认可 收费为20美元/月
ChatGPT Plus计划收费为20美元/月,该计划的用户可以调用GPT-4模型,并使用 所有ChatGPT插件,调查结果显示,受访者使用生成式AI工具的目的主要为搜索信息和生成思路
» ChatGPT插件:其他值得关注的特色插件
Competitor PPC Ads对广告效果分析工具;ScholarAI学术搜索工具;SceneXplain图像描述工具;MetaMentor by AxonAI知识学习辅助工具
» 用于提高工作效率的ChatGPT插件受到用户欢迎
最受欢迎Top16插件包括 WebPilot,Prompt Perfect,Wolfram等,主要提供联网查找信息,计算,阅读整理文档等提高效率的帮助
» ChatGPT插件:购物和电商、金融、自动化是数量最多的领域
ChatGPT插件应用领域分为109个应用领域,其中数量最多的是:1)购物和电子商务(39个);2)金融(35个);3)自动化(31个);媒体(25个),教育(24个)
» ChatGPT插件数量快速增长,目前已达613个
将ChatGPT插 件的应用领域分成12大类,其中插件数量最多的应用领域是:1)内容与媒体(25.94%);2)商业与金融(25.12%)3)技术与互联网(17.13%)
» ChatGPT Plus上线代码解释器,功能强
数据分析方面,代码解 释器可以阅读用户上传的数据,完成数据合并和清理,并基于用户需求建立数学模型进行分析和预测
» ChatGPT访问量展望,ChatGPT与OpenAI仍在迭代,有望带动访问量回升
ChatGPT乃至OpenAI的迭代,推进大模型能力普及;让模型能根据用户自然语言来调用函数;相比此前标准的4k版本,能处理更长的文本
» 谷歌Bard推出,分流ChatGPT
谷歌Bard正式向全球用户开放,进入超180个国家和地区,Bard网页版在23年5月的访问量快速提升,全球访问量达1.42亿次,较4月增长186.92%
» ChatGPT访问量下滑,多渠道发展,分流网页版流量
ChatGPT的网页版chat.openai.com在PC端和移动端的访问量出现了下滑,6月全球月访问量较5月下滑9.7%,移动版发布或分流部分高频使用用户
 
返回首页
AI大模型
劳模
AI自动驾驶
chatgpt智能
生成式AI应用
智能机器人行业
行业动态
行业资料
最新资讯
» 机器学习教育框架-学习结果和定义
» 人工智能素养:能力和设计的主要考虑因素
» 人工智能素养能力框架-17条能力
» TinyLlama 等小模型爆火,参数量为 11 亿
» 体系化人工智能(Holistic AI)技术探索-AI服务大闭环、AI能力原子化重构、网络原生AI及安全 可信AI
» 穿刺机器人的发展趋势:四大应用优势助力行业发展
» 我国发展医疗机器人行业面临非常大的挑战
» 我国发展医疗机器人行业具备一定优势
 

人工智能 鲁ICP备18039973号-6