Meta新语言模型Humpback 遵循指令能力超越LLaMa模型

本文概要:

1. Meta 开发了一种方法，使大型语言模型能够在不依赖人工注释或更强大的模型的情况下，迭代地提高其遵循指令的能力。

2. 该方法使用了一种名为 "指令回译（instruction backtranslation）" 的技术，通过自我增强和自我管理的两步过程来优化语言模型的表现。

3. 使用该方法，Meta 的研究人员开发的 Humpback65B 模型在 Alpaca 指令跟踪基准测试中取得了最先进的结果。

Meta 的研究人员开发了一种名为 "指令回译（instruction backtranslation）" 的新技术，用于提高大语言模型的指令跟踪能力。该技术可对 LLaMa 等大型语言模型进行微调以遵循指令，而无需依赖昂贵的人工注释或从 GPT-4等更强大的模型进行提炼。

这一方法包括自我增强和自我管理两个步骤。在自我增强阶段，模型从未标记的文本语料库中生成候选指令 - 响应对，并预测哪些指令会引发相应的响应。

然后，在自我管理阶段，模型对候选对进行评分和筛选，只保留得分最高的子集。通过这种迭代的自我训练过程，模型学习生成更好的指令，并能够更好地区分高质量的示例。

Metas 研究人员表明，这种方法可以带来强大的指令跟踪性能，优于之前使用相同规模的 LLaMa 模型的工作。Meta 的研究人员通过这一方法开发的 Humpback65B 模型在 Alpaca 指令跟踪基准测试中取得了最先进的结果，超过了其他竞争模型如 Anthropics Claude、Guanaco、LIMA 和 Falcon-Instruct 的性能。

研究人员表示，他们计划通过考虑更大的未标记语料库来进一步扩展这一方法，从而获得更好的效果。