Meta提出全新注意力机制S2A 大模型准确率提升至80.3%

要点:

1. Meta提出的注意力机制S2A能有效提升LLM回答问题的事实性和客观性，降低模型对无关信息的敏感度，使其更准确。

2. S2A通过深思熟虑的注意力机制（System2Attention）解决了LLM在回答问题时容易受上下文中虚假相关性影响的问题，提高了模型的推理能力。

3. S2A的实现方式利用LLM本身构建，通过指令调整的LLM删除不相关文本，重写上下文，以更好地控制注意力焦点，进而提升回答的准确性。

在2023科技领域，大语言模型（LLM）的应用日益广泛，但其在回答问题时存在的问题引起了关注。Meta团队提出的新注意力机制S2A通过解决LLM容易受到上下文虚假相关性的问题，显著提升了模型的准确性和客观性。这一机制的提出得到了深度学习领域的重要人物LeCun的认可，他表示这将有助于使LLM更具推理能力。

传统LLM存在的问题包括对无关信息的过度敏感和容易受到用户观点的影响。S2A通过更深思熟虑的注意力机制，即System2Attention，有效解决了这些问题。以一个数学计算的例子为证，S2A可以过滤掉无关信息，使模型更关注问题的实质，从而提高答案的准确性。

论文地址：https://arxiv.org/pdf/2311.11829.pdf

S2A的实现方式是利用LLM本身构建，通过指令调整的LLM来删除不相关的文本，重新生成上下文。这不仅使模型能够在输出响应之前深思熟虑地推理，还能够控制注意力焦点，类似于人类的方式。实验证明，S2A显著提高了模型的性能，使其更适应复杂的推理任务。

随着理解的加深，添加的文本是无关紧要的，应该被忽略。通过引入更深思熟虑的注意力机制，S2A为解决LLM的问题提供了一种可行的方法，为大型语言模型的进一步发展铺平了道路。