英伟达发布Nemotron-4 15B： 8 万亿训练数据，性能超LLaMA-2

**划重点:**

1. 🌐 Nemotron-415B拥有150亿参数，基于8万亿文本标注数据预训练，在多领域测试中超越同类大小的开源模型，尤其在代码语言准确率上表现出色。

2. 🧠采用标准Transformer架构，结合自注意力、全局注意力和多头注意力等机制，以及旋转位置编码技术，提升模型表达和泛化能力。

3. 🌐 利用384个DGX H100节点，每节点搭载8个NVIDIA Hopper架构的H10080GB SXM5GPU，采用8路张量并行和数据并行的组合，以及分布式优化器进行分片。

英伟达最新推出的大型语言模型Nemotron-415B，以其卓越性能和创新架构引起广泛关注。该模型拥有150亿参数，基于庞大的8万亿文本标注数据进行了预训练。

在多领域测试中，Nemotron-415B在7个领域中的4个表现优异，超越了同类大小的开源模型。特别值得注意的是，在代码语言方面，Nemotron-415B展现出更高的准确率，尤其在资源稀缺的编程语言上超过了Starcoder和Mistral7B等模型。

该模型采用了标准的Transformer架构，包括多头自注意力机制和前馈神经网络。其独特之处在于，Nemotron-415B结合了自注意力和全局注意力机制，以更好地理解输入序列内部的依赖关系和输入序列与输出序列之间的对应关系。多头注意力的引入进一步提高了模型的表达能力和泛化能力。

在训练过程中，研究人员充分利用了384个DGX H100节点，每个节点搭载8个基于NVIDIA Hopper架构的H10080GB SXM5GPU。通过8路张量并行和数据并行的组合，以及分布式优化器进行分片，成功完成了Nemotron-415B的训练。

Nemotron-415B在英语、数学推理、多语言分类和代码等多个测试任务中表现出色，不仅在性能上超越了LLaMA-234B和Mistral7B，在广泛的代码语言中也取得了更高的准确率。这一成就为大型语言模型的发展和应用提供了崭新的视角。

技术报告https://arxiv.org/abs/2402.16819