LeCun的意难平！Galactica比ChatGPT早发两周 却因幻觉问题被喷下线

在大型语言模型（LLM）的领域，OpenAI的ChatGPT因其卓越性能和广泛应用而引起轰动，成为瞩目的焦点。然而，在ChatGPT之前的两周，Meta发布了Galactica，一款试用版模型。Galactica在丰富的科学语料库上进行训练，包括4800万篇论文、教科书、化合物和蛋白质知识，但仅上线不到三天就被下线，因为生成的文本不严谨且存在幻觉问题。

Galactica被认为是大型语言模型的早期尝试，但其下线引起了Yann LeCun等人的关注。LeCun表示对Galactica的下线感到遗憾，并认为对其批评过于严厉。这一事件与最近LeCun与Geoffrey Hinton关于AI监管的辩论相呼应，LeCun警告说，过于强调人工智能道德可能会适得其反。

Meta公司AI研究副总裁Joelle Pineau在采访中强调，Galactica本质上是一个研究项目而非产品。尽管下线，但Galactica的经验教训对Meta后续的LLaMA项目产生了积极影响。Pineau表示，他们从Galactica的发布中学到了很多经验教训，并将这些教训应用于后续的LLaMA2项目。

VentureBeat的Sharon Goldman详细讲述了Galactica给Meta带来的教训。Galactica的第一作者Ross Taylor也在推特上发文，指出Galactica在发布时由于人手稀缺未对基础模型进行充分检查，导致了一些问题。然而，Taylor强调他们的研究仍然有价值，并且从Galactica的经验中学到的教训已经用到了后续的LLaMA2项目中。