智源研究院发布LM-Cocktail模型治理策略 低成本提升模型性能

智源研究院最近发布了 LM-Cocktail 模型治理策略，旨在为大模型开发者提供一个低成本持续提升模型性能的方式。

该策略通过融合多个模型的优势，实现在目标任务上性能的提升，同时保持在通用任务上的强大能力。

LM-Cocktail 可以帮助开发者将多个模型的优势能力汇总起来，生成一个具备多种特长的 “多技能” 模型。通过少量样例计算加权权重，可以融合现有模型，无需重新训练。

这种策略对于缺乏目标任务标签数据或计算资源的开发者尤为有用。LM-Cocktail 的核心是将微调后的模型与多个其他模型的参数进行融合，整合多个模型的优点，提高目标任务的准确度，同时保持在其他任务上的通用能力。

目前，LM-Cocktail 已在实验中展现了良好的性能。

论文 ：https://arxiv.org/abs/2311.13534

代码 ：https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail

项目地址：https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail