OpenAI CEO ：参数数量不再是AI模型性能的唯一指标

OpenAI CEO Sam Altman 认为，专注于增加大型语言模型的参数数量不再有效，AI 模型的未来应该以效率和数据质量而不是单纯的参数数量来区分。

Altman 建议重点应该放在改进和扩展模型的能力上，未来可能的架构可能由几个较小的模型一起工作组成。

为什么重要:

近年来，对人工智能模型中参数数量的关注一直是衡量潜在进展的主要指标。然而，这种方法可能不再有用，重点应该转向改进和扩展 AI 模型的能力。

参数的数量可能会继续增长，但重点需要放在改进和扩展模型的能力上，而不是参数的数量上。

未来的人工智能模型应该以其效率和数据质量而不是参数的数量来区分。

评析:

OpenAI 一直公开其模型中的参数数量，但对于 GPT-4详细信息，该公司却没有透露，这表明转向关注能力而不是参数的数量。

Deepmind 的 Chinchilla、Aleph Alpha 的 Sparse Luminous Base 和 Meta 的 LLaMA 模型等模型表明，参数较少的语言模型可以通过更高效的架构或更多的数据训练来跟上更大的模型。