谷歌研究:大型语言模型难以自我纠正推理错误

谷歌研究表明，大型语言模型在没有外部指导的情况下难以自我纠正推理错误

谷歌 DeepMind 最新研究发现，大型语言模型 （LLM） 在没有外部指导的情况下难以自我纠正推理错误。

这项研究结果对于开发更智能的语言模型具有重要意义。

在一篇名为《大型语言模型尚不能自我纠正推理》的论文中，谷歌 DeepMind 的科学家们进行了一系列实验和分析，以探究语言模型的自我纠正能力。研究人员发现，当模型试图仅仅根据自身的想法来纠正其最初的反应时，往往会出现问题。

图源备注:图片由AI生成，图片授权服务商Midjourney

此前的一些研究表明，语言模型在内部进行自我纠正是有效的。但谷歌的研究发现，这些研究在指导模型时使用了 "预言"，即正确的标签。如果没有这些 "预言"，模型的准确性并不会提高。

谷歌 DeepMind 的研究人员表示，为了使语言模型正常工作，它们需要具备自我纠正的能力，因为在许多现实世界的应用中，外部反馈并不总是可用的。

研究团队还尝试了一种多智能体方法，即部署多个语言模型以实现一致性响应。虽然没有一个模型能够每次都产生相同的结果，但通过投票机制，可以达成一致的响应。

然而，研究人员指出，这种改进并非真正的自我纠正，而是一种自我一致性。要使语言模型真正具备自我纠正的能力，仍需更多的研究和改进。

谷歌 DeepMind 的研究人员认为，目前对于需要更安全响应的应用程序来说，具备自我纠正能力的语言模型可能更加有效。但他们也呼吁研究人员应该保持敏锐的视角，认识到自我纠正的潜力和局限性，并努力改进现有模型。

尽管目前大型语言模型在自我纠正推理方面还存在一些挑战，但这项研究为未来的发展提供了重要的指导，让我们更好地了解和改进语言模型的能力和局限性。