消息称OpenAI取消更高效的GPT-4级别AI模型“Arrakis”开发

划重点:

1. 🚫OpenAI停止了“Arrakis”项目的开发，因为其质量不符合要求，这一模型原本旨在比GPT-4更高效。

2. 💡Arrakis的设计采用了稀疏原则，只激活部分神经网络，与传统“密集模型”不同，但在后期测试中表现不佳。

3. 🚀尽管“Arrakis”项目失败，OpenAI计划将其经验应用于其他模型，如计划中的Gobi多模态模型，同时继续改进GPT-4。

OpenAI曾计划开发一款名为“Arrakis”的全新AI模型，旨在提高AI推断的效率，使其更经济实惠。然而，由于质量问题，该公司不得不停止了这一项目的开发。

“Arrakis”本应与GPT-4一样强大，但成本更低，因为该模型部分采用了所谓的稀疏原则。这意味着只有神经网络的部分部分用于处理输入，而在传统的“密集模型”中，整个神经网络是活跃的。例如，谷歌在其Pathways AI项目中采用了稀疏原则。

图源备注：图片由AI生成，图片授权服务商Midjourney

The Information援引两名熟悉该项目的人士的说法，“Arrakis”项目的开发始于去年秋季，训练于春季开始。但OpenAI的开发团队很快意识到性能不够出色，据

团队在一个月的时间内进行了一些微调，然后领导团队终止了该项目，但目前尚不清楚为什么稀疏原则在早期测试中效果不错，但在更大的模型上失败了。

尽管存在这一挫折，OpenAI可能会将“Arrakis”项目的经验应用于其他模型，例如计划中的Gobi多模态模型。在“Arrakis”项目失败后，OpenAI的研究人员着手开发一款GPT-4版本，该版本可以生成更快的响应。

这可能就是今年夏季推出的GPT-4版本“0613”，比OpenAI今年3月初推出的版本“0314”明显更快。尽管一些用户抱怨在某些领域失去了一些质量，但OpenAI却予以驳斥，这导致公司提供API访问0314版本的时间比原计划更长。

OpenAI将人工智能引向沙漠，他们的新AI模型原型命名为“Gobi”、“Sahara”和“Arrakis”，以向稀疏原则致敬，并希望这些模型能够更高效地工作并降低成本。尤其是OpenAI的合作伙伴微软希望“Arrakis”可以降低其产品中生成式AI的使用成本。

此外，据《华尔街日报》报道，微软已经将资源转向开发成本更低的语言模型，因为生成式AI的高成本威胁着新兴的商业模型。

此前有消息称OpenAI泄露者FeltSteam曾提到“Arrakis”。该模型据说不仅可以生成文本，还可以生成图像和视频，幻觉较少，适用于自主代理。此外，“Arrakis”将部分采用合成数据进行训练，计划明年发布。