北京大学发布EAGLE 大模型推理效率无损提升3倍

要点:

EAGLE由滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布，将大模型推理效率提升3倍。

EAGLE采用外推大语言模型的第二顶层特征向量的方法，相较于普通自回归解码，其推理速度提升明显，比普通自回归解码快3倍，比Lookahead解码快2倍，比Medusa解码快1.6倍。

EAGLE使用投机采样方法，通过轻量级的自回归头和冻结的分类头相结合，利用大语言模型提取的上下文特征进行外推，从而更高效地生成文本。

近年来，大语言模型在各领域应用广泛，但其文本生成过程昂贵且缓慢。为解决这一问题，滑铁卢大学、加拿大向量研究院、北京大学等机构联合发布了EAGLE。EAGLE的目标是提升大语言模型的推理速度，同时确保输出文本的分布一致性。通过外推大语言模型的第二顶层特征向量，EAGLE成功实现了大模型推理效率的无损提升，比普通自回归解码快3倍，比Lookahead解码快2倍，比Medusa解码快1.6倍。

代码地址:https://github.com/SafeAILab/EAGLE

为了加速自回归解码，EAGLE采用了投机采样方法，使用一个轻量级的自回归头和冻结的分类头相结合。与传统投机采样方法不同，EAGLE的输入包括了抽样结果的词嵌入，使得输入和输出之间更具一致性。这种创新的方法有效地处理了抽样过程中的随机性，提高了生成文本的准确性。

EAGLE的工作原理基于特征向量的可压缩性，通过训练一个轻量级插件，即自回归头，从原始模型的第二顶层预测下一个特征，然后使用原始LLM的冻结分类头预测下一个词。这种外推特征向量的方法使得EAGLE在生成文本的同时保持了与普通解码一致的分布。

总体而言，EAGLE的发布标志着大语言模型推理效率的重大突破，为大规模文本生成任务提供了更加高效的解决方案，将在各领域推动语言模型的应用和发展。