华为云研究团队提出 PanGu-Coder2 模型和 RRTF 框架 提升大模型性能

华为云、中国科学院和北京大学的研究人员最近提出了一种名为 RRTF（Rank Responses to align Test&Teacher Feedback）的新框架，能够有效地提升预训练的大型语言模型(LLM)在代码生成方面的性能。RRTF 框架通过自然语言 LLM 对齐技术和排名反馈的方式来改进代码生成 LLM 的表现。研究团队还引入了 PanGu-Coder2模型，该模型在 OpenAI HumanEval 基准测试中取得了出色的62.20% 的通过率。

论文地址:https://arxiv.org/abs/2307.14936

该研究通过在 StarCoder15B 上应用 RRTF 框架，超越了 PanGu-Coder 并获得了所有记录的代码 LLM 中最佳性能，证明了 RRTF 的有效性。对三个基准测试（HumanEval、CoderEval 和 LeetCode）的全面分析表明，代码 LLM 在代码生成任务中可能能够超过相同或更大规模的自然语言模型。研究还强调了高质量数据对提高模型遵循指令和编写代码能力的价值。

贡献:

1. RRTF 框架是一个模型中立、简单且高效的优化方法，可以提高代码 LLM 的性能。

2. PanGu-Coder2模型比其原始模型提高了约30%，在 HumanEval、CoderEval 和 LeetCode 等基准测试中表现出色。

3. PanGu-Coder2在代码生成方面超过了所有先前发布的代码 LLM，达到了最新的最佳性能。

4. 研究团队提供了关于构建用于代码生成的良好训练数据的想法和实践知识。

5. PanGu-Coder2模型是使用 RRTF 框架训练的，并提供了有关此过程的有用见解。

6. 除了提高代码生成效率外，研究团队还建议了 PanGu-Coder2使用的优化方法，以确保快速推理，这对于实际应用非常重要。