首页站长资讯蚂蚁开源ATorch 、 Lookahead两项大模型技术
17898

蚂蚁开源ATorch 、 Lookahead两项大模型技术

站长网2024-01-18 10:23:340

最近,蚂蚁开源了两项与大模型相关的新技术:ATorch 和 Lookahead。

ATorch 是一个大模型分布式训练加速扩展库,可实现深度学习自动资源动态优化和分布式训练稳定性提升,可提升深度学习的智能性,千亿模型千卡级别训练的算力利用率可达60%。

Lookahead 是一个推理加速框架,可以大幅提升大模型的推理效率,可将推理加速2-6倍。

ATorch 采用了分层架构设计,功能清晰、设计全面,为开发者提供极致精简的开发体验。作为 PyTorch 框架的高性能扩展加速库,ATorch 最少化用户代码侵入,为千亿参数大模型千卡级训练提供易用的高性能方案。在实践中,ATorch 已经在多个开源模型的训练优化实践中表现出色,将算力利用率提升了很多,并且稳定性也得到了显著提升。ATorch 已集成到蚂蚁集团的大模型训练开源产品 DLRover 中,让大模型开发者能够更专注于模型架构的设计,而无需处理工程方面的细节。

Lookahead 是一个推理加速框架,可以将推理加速2-6倍。通过采用多分支策略,Lookahead 能够在一次前向过程中生成更多的 Token,进一步压榨硬件性能。此外,Lookahead 还利用 trie 树存储和检索 Token 序列,并合并多条草稿中相同的父节点,提高计算效率。为了提高易用性,Lookahead 的 trie 树构建不依赖额外的草稿模型,只利用推理过程中的 prompt 及生成的回答进行动态构建,降低了用户的接入成本。

开源地址:https://github.com/intelligent-machine-learning/dlrover/atorch

论文地址:https://arxiv.org/abs/2312.12728

开源地址:https://github.com/alipay/PainlessInferenceAcceleration

新鲜AI产品点击了解:https://top.aibase.com/

0000
评论列表
共(0)条