智源团队Aquila2-34B双语对话模型推出Int4量化版本

智源团队最近发布了中英双语基础模型 Aquila2-34B 和中英双语对话模型 AquilaChat2-34B。这两个模型在中英双语主 / 客观综合评测中表现优秀，超过了其他全球开源模型，包括 LLama-70B 等。

同时，Aquila2-34B 在多项推理评测中超越了 LLama2-70B 和 GPT3.5模型，仅次于 GPT4。

为了降低使用大模型的门槛，智源 Aquila 团队将 Int4量化技术和 QLoRA 微调推理技术整合到 AquilaChat2系列模型中，从而显著降低了34B 级别大模型的训练和推理所需的资源。

经过 Int4量化，AquilaChat2-34B 模型能够用7B 量级模型相近的 GPU 资源消耗，提供超过 Llama2-70B 模型的性能。QLoRA 技术将量化技术与 LoRA 微调技术相结合，通过4位量化和 Low Rank Adapters （LoRA） 方法进行微调，从而实现在不损失模型性能的情况下节省内存和提高训练速度。

据悉，Aquila2-34B 系列模型已经在国产芯片上进行了适配，并成功进行了推理。通过使用 Int4量化和 QLoRA 微调技术，用户可以在低资源环境中运行大参数模型。

项目地址：

https://github.com/FlagAI-Open/Aquila2/blob/main/examples/predict_chat_quantize.py