首页站长资讯万卡训练史上最大参数模型!百度文心大模型4.0最快下周见
10866

万卡训练史上最大参数模型!百度文心大模型4.0最快下周见

站长网2023-10-09 15:37:380

快科技10月9日消息,日前有媒体报道称,百度正加紧训练文心大模型4.0,已经接近可发布状态,这将是文心大模型3.5版本后,又一个重磅版本。

消息称,文心大模型4.0进展比预期快很多,将是基础模型的大升级,理解、生成、逻辑、记忆核心能力都将提升,特别是在逻辑推理、代码和数学等方面提升最明显。

根据我们获得的最新消息,上述消息基本属实。目前了解到,文心大模型4.0实际上已经在小流量测试。

根据我们拿到的消息,文心大模型4.0的参数规模要大于目前所有公开发布参数的LLM,也是国内首次使用万卡集群训练的大模型。这意味着文心大模型4.0的参数规模预计能突破万亿级别。

万卡集群什么概念?国内之前只有华为、阿里透露已建成万卡AI集群,但我们都没看到基于它推出的具体模型。万卡集群就不容易建了,如果用起来发挥最大化作用则更难了。

据分析,正是因为飞桨的深度联合,才能高效地基于万卡集群训练起如此规模的模型。

不仅训练成本在增加,文心4.0的推理成本比3.5增加很多,我们还没拿到具体每千token的推理成本,但据传大概是此前的8-10倍,这还是在高利用率(MFU)的情况下。如果利用率更低,估计成本还会继续增加。

不得不说,大模型真的很费钱。可见,打造领先的底层基础打模型,就是一场巨头的游戏。

根据IDC发布的首个大模型评估报告《AI大模型技术能力评估报告,2023》,百度文心大模型3.5拿下12项指标的7个满分,综合评分第一,算法模型第一,行业覆盖第一,综合能力在众多国产大模型中遥遥领先。

经过全面升级后,文心大模型4.0的训练速度、推理速度等将进一步提升,能否与GPT-4一战甚至超越后者的表现,我们拭目以待。

0000
评论列表
共(0)条