潞晨科技旗下Colossal-AI开源650亿参数大模型预训练方案

AI创业公司潞晨科技宣布，旗下Colossal-AI 首个开源了650亿参数 LLaMA 低成本预训练方案。

据介绍，相比业界其他主流选择，该预训练方案可提升预训练速度38%，仅需32张 A100/A800即可使用，并且不限制商业使用。

开源地址:https://github.com/hpcaitech/ColossalAI