上海AI实验室开源工具箱XTuner 8GB显卡就可训练大模型
站长网2023-09-20 10:19:030阅
近日,上海人工智能实验室发布了一款面向大模型训练的开源工具箱XTuner,通过支持多种硬件适配,大幅降低了企业进行大模型训练的门槛,尤其是对中小企业具有重要意义。
XTuner为各类开源模型提供了多样的微调框架
XTuner支持与多款开源大模型的无缝衔接,可执行增量预训练、指令微调等任务类型。开发者仅需使用8GB消费级显卡,就可以训练出适用于具体业务场景的“专属大模型”。这极大地降低了进行大模型训练的“真金白银”成本。
XTuner还具备支持多种数据集格式适配、结合社区主流开源训练框架、一键式标准化训练流程等功能。这些“黑科技”令开发者可以更专注于数据本身,而其余训练流程可完全交给XTuner自动化完成。
通过XTuner,开发者可以轻松为大模型添加新功能,例如赋予颜色识别、搜索引擎等能力。这有助于根据具体业务需求,对通用预训练模型进行快速定制优化。
XTuner的发布再次巩固了上海AI实验室在大模型研发与应用领域的全链条开源布局。该实验室此前已开源发布多项大模型工具,并提供免费商用。业内人士表示,这将推动我国在人工智能核心领域的技术进步。
开源链接:
https://github.com/InternLM/xtuner
0000
评论列表
共(0)条相关推荐
- 0000
- 0000
- 0000
- 0000
- 0001