马斯克烧60亿美元难题，国内大厂有解？开源MoE模算效率黑马登场，3.7B参数单挑Llama 3-70B

【新智元导读】马斯克最近哭穷表示，xAI需要部署10万个H100才能训出Grok3，影响全球的大模型算力荒怎么解?昨天开源的这款MoE大模型，只用了1/19算力、1/19激活参数，性能就直接全面对标Llama3-70B!

如今，想训个SOTA的大模型，不仅缺数据和算力，甚至连电都不够用了。

最近马斯克就公开表示，因为苦于买不到足够的芯片，xAI只能推迟Gork2的训练和发布。

Grok3及更高版本，甚至需要10万个H100，按每台H100售价3万美元来算，仅芯片就要花掉28亿美元。

而且在未来几年，xAI在云服务器上可能就要花费100亿美元，直接逼得马斯克自谋生路，开建起自己的「超级计算工厂」。

那么问题来了，有没有一种可能，只用更少的算力，就让大模型实现更高的性能?

就在5月28日，浪 潮信息给业界打了个样——全面开源MoE模型「源2.0-M32」!

简单来说，源2.0-M32是一个包含了32个专家（Expert）的混合专家模型，总参数量达到了400亿，但激活参数仅37亿。

开源项目地址:https://github.com/IEIT-Yuan/Yuan2.0-M32

基于算法、数据和算力方面的全面创新，源2.0-M32的模型性能得到了大幅提升，一句话总结就是:模更强，算更优!

在业界主流的基准评测中，它的性能也能直接全面对标Llama3-70B!

32个小模型，挑战700亿Llama3巨兽

话不多说，先看跑分:

直观可见，在MATH和ARC-Challenge基准测试中，源2.0-M32的准确率分别为55.89和95.8，超过了Llama3-70B。

甚至在编码、MMLU中，M32实现了与Llama3-70B相当的性能。

在代码生成任务中，源2.0-M32的性能仅次于DeepseekV2和Llama3-70B，并远远超过其他模型。

与DeepseekV2相比，M32模型每个token使用的激活参数不到其1/4，计算量不足其1/5，而准确率达到其90%以上的水平。

而与Llama3-70B相比，模型激活参数和计算量的差距更大，但M32仍达到了其91%的水平。

在代码能力上，源2.0-M32不仅通过了近3/4的HumananEval测试题，而且在经过14个样本的学习之后，准确率更是提升到了78%。

就数学任务结果来看，源2.0-M32在MATH基准测试中得分最高。

与Mixtral-8×7B相比，M32的激活参数只有它的约0.29倍，但性能却高出了近一倍。

在GSM8K基准上，M32的性能与Llama3-70B非常接近，并且超过了其他模型。

比如在回答「100-200之间，所有7的倍数的和是多少」的问题中，M32和Llama3-70B的PK结果如下。

因为对中文理解上的优势，M32成功给出了正确答案，而Llama3-70B就不幸翻车了。

当然，面对英文的数学题，M32也没在怕的。

注意，这道题的题干中提出了一个要求——分母应该是有理数，M32非常准确地获知了这一点，因而把1/√3变成了√3/3。

这就有点意思了。

下面这道题，要求计算997的的逆元，也即使997乘以某个数，让它对100的求余为1。

源2.0-M32非常准确地理解了这个过程，而且通过一步步的迭代，准确地求解出了一个具体数值。

而看这边的Llama3-70B，很明显就没有理解题干，也没有构建出准确的求解关系，结果也是错的。

在多语言测试MMLU中，源2.0-M32的表现虽然不及规模更大的模型，但优于Mixtral-8×7B、Phi-3-mini和Llama3-8B。

最后，在推理挑战中，源2.0-M32在解决复杂科学问题方面表现出色，同样超越了Llama3-70B。

创新的架构和算法

源2.0-M32研发的初衷，就是为了大幅提升基础模型的模算效率。

为了提升模型能力，很多人都会沿用当前的路径，但在浪 潮信息看来，要让模型能力真正快速提升，就一定要从算法层面、从模型架构层面做探索和创新。

从模型名字中便可以看出，源2.0-M32是基于「源2.0」模型构建的，是包含32个专家的MoE模型。

它沿用并融合局部过滤增强的注意力机制（Localized Filtering-based Attention），通过先学习相邻词之间的关联性，然后再计算全局关联性的方法，更好地学习到了自然语言的局部和全局的语言特征。

因此，它对于自然语言的关联语义理解更准确，模型精度就得到了提升。

论文地址:https://arxiv.org/pdf/2405.17976

图1左展示了「源2.0」架构通过引入MoE层实现模型Scaling，其中MoE层取代了源2.0中的前馈层。

图1右放大显示了M32的MoE层的结构，每个MoE层由一组单独的密集前馈网络（FFN）作为专家组成。

专家之前的门控网络将输入的token，分配给总共32个相关的专家中的2个（图中以4个专家做为示例）。

源2.0-M32结构示意图，其中MoE层取代了源2.0中的前馈层

其中，选择32个专家的原因是，比起8个、16个专家，32个专家的训练损失最低，效果最好。

最终，虽然在推理过程中，32个专家每次只激活2个，激活参数只有37亿，但是M32在处理逻辑、代码方面，精度可以对标Llama3-70B。

全新门控网络AttentionRouter

在LFA之后，针对MoE结构中核心的门控网络，团队做了另外一个算法创新。

需要明确的是，混合专家模型由两个核心部分组成:一是门控网络（Gate），二是若干数量的专家(Expert)。

这当中，「门控机制」起着最关键的作用。

它通常会采用神经网络，根据输入的数据特征，为每个专家模型分配一个权重，从而决定哪些专家模型对当前任务更为重要。

简言之，通过计算token分配给各个专家的概率，来选择候选专家参与计算。

显然，门控网络的选择机制，对于模型的推理能力、运行效率起着关键的作用。

当前，流行的MoE结构大都采用简单的调度策略——将token与代表每个专家的特征向量进行点积，随后挑选点积结果最大的专家。

然而，这一方法的弊端是，只将各个专家特征向量视为独立的，进而忽略了它们之间的相关性，无疑会降低模型的精度。

为了攻克这一难题，源2.0-M32创新性提出了新型的算法结构:基于注意力机制的门控网络（Attention Router），创造了一种专家间协同性的度量方法。

新策略可以在计算过程中，将输入样本中任意两个token，通过一个计算步骤直接联系起来。

这样一来，就可以解决传统的门控机制中，选择两个或多个专家参与计算时关联性缺失的问题。

最终选择的时候，这种策略选择的专家不仅绝对数值会比较高，两个专家协同的时候，自身的属性也会更相似。

举个通俗易懂的栗子:

就好比在一个医院中，主任要去做手术，一定是选择自己最这个领域最专业、且自己最熟悉的组员，这样大家的配合程度才会更好。

果然，与经典路由结构的模型相比，Attention Router让LLM准确率提升了3.8%。

总之，Attention Router算法可以让使得专家之间协同处理数据的水平和效能大为提升，从而实现以更少的激活参数，达到更高的智能水平。

算力消耗只需700亿Llama3的1/19

算力层面，源2.0-M32综合运用了流水线并行 数据并行的策略，显著降低了大模型对芯片间P2P带宽的需求，为硬件差异较大训练环境提供了一种高性能的训练方法。

正是基于算法和算力上创新优化，源2.0-M32实现了在三个阶段——预训练、推理和微调过程中，超高的模算效率。

这一突破，让MoE模型性能媲美Llama3-70B，也显著降低了单token训练和推理所需的算力资源。

训练

在智能水平相当的情况下，源2.0-M32微调/训练时每token所需的算力资源最低——仅为22.2Gflops/token。

相比起Llama3-70B的420Gflops/token，源2.0-M32的需求只有其1/19。

推理

在相同条件下进行测试后可以发现，M32处理每token所需算力为7.4Gflops，而Llama3-70B所需算力为140Gflops。

也就是说，源2.0-M32的推理算力消耗也仅是Llama3-70B的1/19。

微调

在微调阶段，M32只需消耗约0.0026PD（PetaFlops-Day），就可以完成对1万条平均长度为1024token的样本进行全量微调，而Llama3则需消耗约0.05PD的算力。

更直观来讲，源2.0-M32在支持BF16精度的2颗CPU服务器上，约20小时即可完成这1万条样本的全量微调。

而同样条件之下的Llama3-70B，完成全量微调约为16天。

近50%训练数据都是代码

众所周知，丰富、全面、高质量的数据集，是LLM预训练核心。

这次，源2.0-M32使用了2万亿（2T）token进行训练。

且代码数据占比最高，几乎近一半（47.46%），而且从6类最流行的代码扩充至619类，并通过对代码中英文注释的翻译，将中文代码数据量增大至1800亿token，占比约8.0%。

此外，占比第二高的预料数据来自中英文互联网（25.18%），有效提升了模型的知识实时性与跨领域、跨语言应用效果。

之所以加入了如此之多的代码数据，是因为其本身就具有非常清晰的逻辑性。

当模型在海量的代码数据上完成「高强度」训练之后，不仅可以在代码生成、代码理解、代码推理上取得出色的表现，而且还能在逻辑推理、数据求解等方面获得可观的提升。

源2.0-M32的性能随着训练数据的增加而增强，且过程十分稳定

模更强，算更优，是终解!

可以看出，浪潮 信息的MoE模型，在榜单上基本上达到了Llama3的水平，甚至有些可以超越Llama3。

然而最大的不同，就是浪 潮信息显著降低了单个token在训练推理和微调过程中的算力消耗。

由此，大模型训练和应用过程中的门槛也随之降低，高智能水平的模型就能更顺利地普及到千行百业当中去。

浪 潮信息之所以选择攻坚这个问题，也是他们长期「深根沃土」，服务行业客户的深刻认知。

在浪 潮信息看来，如今大模型智能水平提升，但背后所面临的算力消耗，却大幅攀升!

对企业落地，是极大的困难和挑战。

由此，找到一种「模型水平高、算力门槛低」的技术方式就变得很重要。这也是我们在开头所想强调的「模算效率」。这个指标不仅是大模型创新的关键，也是企业真正应用大模型的关键。

为什么这么说?让我们来举个例子。

如果Llama3-70B的每个token推理是140GFlops，用这个实际精度除以每token的推理算力，就可以得到一个模型的算力效率。

结果显示，Llama3的模型精度很高，但推理时的算力开销将极大。这也就意味着，在单位算力下，它的相对精度是比较差的。

与之形成鲜明对比的，就是Mistral的8×7B模型。虽然它和Llama3有较大差距，但它激活专家的参数量较小，所以模算效率反而更高。

追求模算效率，因为它意义非常深远。

比如，一个5000亿的Dense模型，训练20T token的话，需要的算力开销是巨大的。因此，如果能获得很高的模算效率，我们就能在更多token上，训练更大参数的模型。

第二点，从推理上来说，模算效率也极有意义。企业类用户的推理都需要本地化部署，需要购买算力设备。

在这种情况下，给定精度水平下的推理回报就会显出差别。

比如Mistral8×22B和Llama3-70B，二者的精度差别虽然不大，但前者的模算效率就会很高，

此前，业内更加关注的是单个维度，即平均精度的提升。

而在大模型进入快速落地的当下，我们显然就需要从模算效率上来考虑精度和开销了。

此外，模算效率的提升也让LLM微调的门槛和成本大幅降低，这就能让高智能模型更加易于企业应用开发，实现智能落地。

尤其是考虑到现在，「微调」已成企业应用大模型的关键环节。

因为它能结合特定业务场景和专业数据对LLM完成优化，帮助LLM在专用场景中提高生成准确性、可解释性，改善「幻觉」问题。

一如既往，全面开源

坚持开源，也是浪 潮信息一直以来的传统。

2021年，这家公司便开始布局大模型算法开发，同年首次发布了2457亿参数的「源1.0」中文语言大模型，并全面开源，在业界树立了千亿模型的新标杆。

值得一提的是，「源1.0」的MFU高达44%，可见算力利用率非常高。

而当时GPT-3的MFU只有22%，也就是说有近80%的算力被浪费掉了。

彼时的浪 潮信息团队还开源近5TB的中文数据集，在国内100 个大模型厂商中，有近50个LLM的训练中得到应用。

之后，历时近2年研发，2023年，浪 潮信息将千亿参数基础大模型从1.0升级到「源2.0」。

「源2.0」包含了三种参数规模，1026亿、518亿、21亿，并在代码编程、逻辑推理、数学计算等领域展现出领先的性能。

论文地址:https://arxiv.org/ftp/arxiv/papers/2311/2311.15786.pdf

这一次，升级后的2.0版本同样采取了「全面开放开源」的策略，全系列模型的参数、代码，均可免费下载和商用。

「源2.0」也在不断进行版本更新，并针对代码能力、数理逻辑、推理速度等方面完成深度优化。

浪 潮信息还提供了丰富的预训练、微调以及推理服务脚本，并与流行框架工具全面适配，比如LangChain、LlamaIndex等。

正如前面所述，「源2.0-M32」 将继续采用全面开源策略，又将给开源社区添砖增瓦，留下浓墨重彩的一笔。

首席科学家吴韶华表示，「当前业界大模型在性能不断提升的同时，也面临着所消耗算力大幅攀升的问题，这也对企业在落地应用大模型时带来了极大的困难和挑战」。

降低应用门槛

除了全面开源之外，浪 潮信息还通过发布方便可用的工具，进一步降低了大模型应用的门槛。

今年4月，企业大模型开发平台「元脑企智」（EPAI）正式推出，为企业LLM训练提供了更加高效、易用、安全的端到端开发工具。

从数据准备、模型训练、知识检索、应用框架等系列工具全覆盖，且支持多元算力和多模算法。

EPAI提供了非常丰富的基础数据，规模达1亿 ，同时提供自动化的数据处理工具，帮助行业伙伴和企业客户整理行业数据和专业数据，减少针对不同落地场景中出现的「幻觉」。

对于企业来说，甚至是企业小白用户，EPAI可以帮助他们高效部署开发AI应用，能够释放极大的商业价值。

如今，源2.0-M32也将集成到EPAI大模型库，帮助企业加快AI应用落地的步伐。

在算力愈发紧俏的当下，浪 潮信息用「模更强 算更优」的M32交出了答卷，让整个业内为之振奋。

接下来，我们等待它的更多惊喜!

参考资料:

https://github.com/IEIT-Yuan/Yuan2.0-M32

https://huggingface.co/IEITYuan/Yuan2-M32-hf

https://modelscope.cn/models/YuanLLM/Yuan2-M32-hf/summary