TinyLlama 等小模型爆火,参数量为 11 亿

 来源:算法邦     编辑:管理员      时间:2024/1/16
 

来自新加坡科技设计大学(SUTD)的研究者近日推出了 TinyLlama,该语言模型的参数量为 11 亿,在大约 3 万亿个 token 上预训练而成。

论文地址:

https://arxiv.org/pdf/2401.02385.pdf

项目地址:

https://github.com/jzhang38/TinyLlama/blob/main/README_zh-CN.md

TinyLlama 以 Llama 2 架构和分词器(tokenizer)为基础,这意味着 TinyLlama 可以在许多基于 Llama 的开源项目中即插即用。此外,TinyLlama 只有 11 亿的参数,体积小巧,适用于需要限制计算和内存占用的多种应用。

该研究表示仅需 16 块 A100-40G 的 GPU,便可在 90 天内完成 TinyLlama 的训练。

该项目从上线开始,持续受到关注,目前星标量达到 4.7K。

研究者表示,这项研究旨在挖掘使用较大数据集训练较小模型的潜力。他们重点探究在用远大于扩展定律(scaling law)建议的 token 数量进行训练时,较小模型的行为表现。

具体来说,该研究使用大约 3 万亿个 token 训练具有 1.1B 个参数的 Transformer (仅解码器)模型。据了解,这是第一次尝试使用如此大量的数据来训练具有 1B 参数的模型。

尽管规模相对较小,但 TinyLlama 在一系列下游任务中表现相当出色,它的性能显著优于同等大小的现有开源语言模型。具体来说,TinyLlama 在各种下游任务中都超越了 OPT-1.3B 和 Pythia1.4B 。

此外,TinyLlama 还用到了各种优化方法,如 flash attention 2、FSDP( Fully Sharded Data Parallel )、 xFormers 等。

在这些技术的加持下,TinyLlama 训练吞吐量达到了每 A100-40G GPU 每秒 24000 个 token。例如,TinyLlama-1.1B 模型对于 300B token 仅需要 3,456 A100 GPU 小时,而 Pythia 为 4,830 小时,MPT 为 7,920 小时。这显示了该研究优化的有效性以及在大规模模型训练中节省大量时间和资源的潜力。

TinyLlama 实现了 24k tokens / 秒 / A100 的训练速度,这个速度好比用户可以在 8 个 A100 上用 32 小时训练一个具有 11 亿参数、220 亿 token 的 chinchilla-optimial 的模型。同时,这些优化也大大减少了显存占用,用户可以把 11 亿参数的模型塞入 40GB 的 GPU 里面还能同时维持 16k tokens 的 per-gpu batch size。只需要把 batch size 改小一点, 你就可以在 RTX 3090/4090 上面训练 TinyLlama。


 信息推荐
» APP Store时刻已至,国内 AI 商业化落地拐点来临
Assistant API 以及更强大且费用更低的 GPT3.5/GPT4 Turbo 系列,全面定义 AI 时代应用开发的三个层次,AI 应用可以分为基础层、 中间层和应用层三个层次
» OpenAI前CEO阿尔特曼被开除
阿尔特曼的离职是董事会经过审议后得出的结论,阻碍了董事会履行职责的能力,原CTO米拉·穆拉提(Mira Murati)被任命为临时CEO,公司目前正在物色长期继任者
» 李强在北京市调研专精特新企业时强调:聚力科技创新 深耕细分领域 为推进科技自立自强稳定产业链供应链发
» 习近平在浙江金华市考察调研
» 习近平在浙江绍兴市考察调研
» 江苏省第一届人工智能创新发展高峰论坛在宁启动
» 第三届智能教育论坛|专家共谈:人工智能助力因材施教
» 2021深圳国际人工智能展览会
» 重磅三连签!总投资近40亿!人工智能头部项目落地中国(南京)智谷
» 华为再次出手,人工智能入驻南沙,任正非:掌握技术,掌握未来
» 中国信通院发布《人工智能安全框架(2020年)》
» AI新可能?2020“中国高校计算机大赛-人工智能创意赛”有想法!
 
返回首页
AI大模型
劳模
AI自动驾驶
chatgpt智能
生成式AI应用
智能机器人行业
行业动态
行业资料
最新资讯
» 吉林省2024年政府工作报告-聚焦四大集群,六新产业,四新设施
» 黑龙江2024年政府工作报告-建设省级智能工厂4个、数字化车间41个
» 机器学习教育框架-学习结果和定义
» 人工智能素养:能力和设计的主要考虑因素
» 人工智能素养能力框架-17条能力
» TinyLlama 等小模型爆火,参数量为 11 亿
» 体系化人工智能(Holistic AI)技术探索-AI服务大闭环、AI能力原子化重构、网络原生AI及安全 可信AI
» 穿刺机器人的发展趋势:四大应用优势助力行业发展
 

人工智能 鲁ICP备18039973号-6