研究表明，开源语言模型无法与 GPT-4 相提并论

开源语言模型的进步是无可争议的。但它们真的能与来自 OpenAI、谷歌和其他公司的训练有素的语言模型竞争吗?

诸如之前所报道的，使用Alpaca Formula训练的开源语言模型几乎不需要怎么训练以及很低的成本就能达到了类似于ChatGPT的水平。

Alpaca Formula指的是开发人员使用 ChatGPT 生成的训练数据来微调Meta语言模型 LLaMA 。使用这些数据，LLaMA 模型可以在很短的时间内学习生成类似于 ChatGPT 的输出，并且只需要很少的计算量。

但伯克利大学的研究人员在最近的一项研究中得出了不同的结论:他们将Alpaca Formula应用于LLaMA和 GPT-2的一些基础模型，然后让这些结果由人工评估并由GPT-4自动评估。

最初，他们得出了与之前的开发人员相同的结论:使用指令改进的模型（研究人员称之为“模仿模型”）的性能远远超过基础模型，与 ChatGPT 相当。

然而，“更有针对性的自动评估”表明，模仿模型实际上只在他们看到模仿数据的任务中表现良好。在所有其他领域，GPT-4仍然存在明显的性能差距。因为这些基础模型在广泛的预训练过程中获得了大部分功能，而不是在微调过程中获取的。

研究人员表示，这些所谓的评价的工作者经常在没有专业知识的情况下在短时间内评估人工智能内容，很容易被忽悠。

OpenAI 研究员约翰舒尔曼最近也批评使用 ChatGPT数据微调开源基础语言模型，称如果微调数据集包含原始模型中不存在的知识，它们可能会产生更多不正确的内容。