基于LLaMA!开源模型Giraffe将LLaMA上下文窗口扩大10倍 达3万个token

文章概要:

1. 研究人员扩展了开源 LLaMA 模型的上下文窗口，创建了 Giraffe，上下文窗口扩大10倍，达到约32，000个标记。

2. Giraffe适合需要处理数十页文本的商业应用，为大上下文语言模型研究提供了重要见解。

3.该研究还强调了当前技术的局限性以及定制测试的必要性，当前不足以衡量长上下文表现，需要定制测试。

最近，研究人员使用插值技术将开源语言模型LLaMA的上下文窗口从原来的约3，200个token扩大了10倍，达到约32，000个token，由此开发出新的开源语言模型Giraffe。该版本有130亿个参数版本，并且拥有所有开源 LLM 中最大的上下文窗口之一。

Giraffe适用于需要处理数十页文本的各种商业应用场景。像GPT-3这样的语言模型上下文窗口有限，对长文本理解能力较弱。而Giraffe具有更大的“记忆”，能更好地处理这样的用例。

作为开源研究，Giraffe研究还提供了对语言模型内部运作以及不同的上下文窗口扩大技术的重要见解。研究发现，位置嵌入的线性缩放对增加上下文长度最为有效。

研究同时也凸显了当前技术的局限性，因为准确率会随上下文窗口增加而下降。这表明仅用困惑度来衡量语言模型的表现是不够的，对长上下文任务需要定制化的测试。

目前，开源的Giraffe-v2-13b-32k模型已在Hugging Face平台上线，代码也在GitHub上开源。

项目网址:

https://github.com/abacusai/Long-Context

https://huggingface.co/abacusai/Giraffe-v2-13b-32k