GPT系列模型的发展历程,涌现能力的出现GPT-3.5

 来源:财通证券     编辑:管理员      时间:2023/10/8
 

对 GPT 路线的执着探索(GPT-1~3):2018 年 6 月,OpenAI 推出基于 Transformer Decoder 改造的 GPT-1,但其在下游理解类任务的性能远低于同 年 10 月 Google 推出的基于 Encoder 的 BERT;2019 年 GPT-2 推出后,尽管 性能仍不如 BERT,但 OpenAI 发现 Zero-shot 和 Few-shot 的方式可能可以 直接训练一个通用的语言模型;到了 2020 年的 GPT-3,OpenAI 决定直接将 模型参数扩大到了 175B,这一举动正式掀开了大语言模型的序幕;

涌现能力的出现(GPT-3.5):OpenAI 在 GPT-3 的基础上通过融合指令微调 训练得到的 InstructGPT、基于代码数据训练的 Codex、以及基于人类反馈 的强化学习(RLHF,Reinforcement Learning from Human Feedback),训练 得到了 GPT-3.5,某种意义上实现了大模型能力的“涌现”(在某些复杂能力上实现突破)。GPT-3.5 也成为了开启本轮生成式 AI 浪潮的爆款产品 ChatGPT 背后的核心功臣。

AGI 的曙光已现(GPT-4):2023 年 3 月,OpenAI 发布了基于 GPT-3.5 的 SOTA(State-Of-The-Art)模型 GPT-4,该模型在多模态和可靠性方面实现 了进一步扩展。从泛化能力的角度,GPT-4 在创造力、图片理解能力、长文本处理能力和回答准确性方面都有所提升;从工程能力的角度看,通过与 Azure 在算力设施上深度定制合作,GPT-4 能够以千分之一的计算量去预测 在一定计算规模下的性能(预测最终模型的 Loss);从可靠性的角度,GPT- 4 自去年 8 月训练完成后,花费了大量时间做对齐(Alignment),甚至不惜 牺牲部分性能以提升其内容输出的可靠性。

 信息推荐
» ChatGPT的影响-预示人工智能进入AI2.0时代
ChatGPT展现出的认知水平要求人们更注重提出问题和独立判断的能力,ChatGPT在提高生产力方面潜力巨大,ChatGPT的成功为国内人工智能学术界带来机遇与挑战
» 为何ChatGPT无法保证结果为真
哥德尔证明了不完全性定理,而 Tarski 得到了著名的真之不可定义定理,这些都说明在复杂一点的符号系统内部,不可能解决何为真,何为假的问题
» ChatGPT订阅计划得到用户认可 收费为20美元/月
ChatGPT Plus计划收费为20美元/月,该计划的用户可以调用GPT-4模型,并使用 所有ChatGPT插件,调查结果显示,受访者使用生成式AI工具的目的主要为搜索信息和生成思路
» ChatGPT插件:其他值得关注的特色插件
Competitor PPC Ads对广告效果分析工具;ScholarAI学术搜索工具;SceneXplain图像描述工具;MetaMentor by AxonAI知识学习辅助工具
» 用于提高工作效率的ChatGPT插件受到用户欢迎
最受欢迎Top16插件包括 WebPilot,Prompt Perfect,Wolfram等,主要提供联网查找信息,计算,阅读整理文档等提高效率的帮助
» ChatGPT插件:购物和电商、金融、自动化是数量最多的领域
ChatGPT插件应用领域分为109个应用领域,其中数量最多的是:1)购物和电子商务(39个);2)金融(35个);3)自动化(31个);媒体(25个),教育(24个)
» ChatGPT插件数量快速增长,目前已达613个
将ChatGPT插 件的应用领域分成12大类,其中插件数量最多的应用领域是:1)内容与媒体(25.94%);2)商业与金融(25.12%)3)技术与互联网(17.13%)
» ChatGPT Plus上线代码解释器,功能强
数据分析方面,代码解 释器可以阅读用户上传的数据,完成数据合并和清理,并基于用户需求建立数学模型进行分析和预测
» ChatGPT访问量展望,ChatGPT与OpenAI仍在迭代,有望带动访问量回升
ChatGPT乃至OpenAI的迭代,推进大模型能力普及;让模型能根据用户自然语言来调用函数;相比此前标准的4k版本,能处理更长的文本
» 谷歌Bard推出,分流ChatGPT
谷歌Bard正式向全球用户开放,进入超180个国家和地区,Bard网页版在23年5月的访问量快速提升,全球访问量达1.42亿次,较4月增长186.92%
» ChatGPT访问量下滑,多渠道发展,分流网页版流量
ChatGPT的网页版chat.openai.com在PC端和移动端的访问量出现了下滑,6月全球月访问量较5月下滑9.7%,移动版发布或分流部分高频使用用户
» ChatGPT是AIGC浪潮的一部分
早期萌芽阶段(1950s-1990s)该阶段AIGC仅限于小范围实验;沉淀积累阶段(1990s-2010s)从实验性向实用性转变; 快速发展阶段(2010s-至今)
 
返回首页
AI大模型
劳模
AI自动驾驶
chatgpt智能
生成式AI应用
智能机器人行业
行业动态
行业资料
最新资讯
» 机器学习教育框架-学习结果和定义
» 人工智能素养:能力和设计的主要考虑因素
» 人工智能素养能力框架-17条能力
» TinyLlama 等小模型爆火,参数量为 11 亿
» 体系化人工智能(Holistic AI)技术探索-AI服务大闭环、AI能力原子化重构、网络原生AI及安全 可信AI
» 穿刺机器人的发展趋势:四大应用优势助力行业发展
» 我国发展医疗机器人行业面临非常大的挑战
» 我国发展医疗机器人行业具备一定优势
 

人工智能 鲁ICP备18039973号-6