逻辑推理大翻车！GPT-4、Gemini被曝重大缺陷，LLM严重降智

要点:

1. 大模型逻辑推理表现受前提顺序影响，打乱顺序可导致性能下降30%。

2. 改变前提叙述顺序对大模型推理表现有重大影响，Gemini Pro、GPT-3.5-Turbo表现下降。

3. 逻辑推理中改变前提顺序让LLM性能大幅下降，需要进一步研究解决。

近期，谷歌DeepMind和斯坦福的研究人员发现大型语言模型在处理逻辑推理任务时，前提信息的呈现顺序对其表现具有决定性影响。

在逻辑推理和数学问题中，前提按照逻辑自然顺序排列时，模型表现更佳。对于大型语言模型，改变前提叙述顺序会导致性能大幅下降，尤其是在添加分散注意力规则的情况下。

论文地址:https://arxiv.org/pdf/2402.08939.pdf

研究人员发现，通过打乱GSM8K测试集中问题陈述的顺序构建R-GSM测试集，几乎所有主流LLM在新测试集上表现下降。尽管人类在逻辑推理时对前提顺序也有偏好，但LLM更容易受到顺序效应影响，这可能与自回归模型训练目标和数据偏差有关。

改变前提顺序可以使模型准确率下降超过30%，不同顺序对不同模型影响也不同，如GPT模型在反向排序下表现较好。研究人员还发现加入更多干扰规则和多种前提顺序会使问题更加复杂，需要进一步研究解决。在逻辑推理中，前提顺序对大型语言模型推理表现有重大影响，如何应对这一问题仍是一个挑战。