全新推理框架SymbCoT 让大模型实现类人的符号逻辑推理能力

新加坡国立大学联合加州大学圣芭芭拉分校与奥克兰大学的研究人员提出了一种名为SymbCoT（Symbolic Chain-of-Thought）的全新推理框架，旨在提升大语言模型(LLMs)的符号逻辑推理能力。这一框架结合了符号化逻辑表达式与思维链，极大提升了推理的质量、鲁棒性与可信度。SymbCoT框架已被ACL2024录用。

SymbCoT框架包含四个主要部分:翻译、规划、执行和验证。翻译模块将逻辑推理任务中的前提和结论翻译成符号化表达;规划模块根据自然语言与符号化表达生成逻辑推理计划;执行模块遵循逻辑推理规则验证结论的逻辑正确性;验证模块通过对比翻译前后的语义信息，验证翻译和执行过程中是否存在错误。

实验结果表明，SymbCoT在三个复杂逻辑推理数据集上的表现均优于传统思维链（CoT）和使用外部推理工具的方法。具体来说，在GPT3.5-turbo和GPT-4上，SymbCoT的性能分别提升了22.08%、9.31%和7.88%。此外，SymbCoT在复杂场景推理、可信度和鲁棒性方面也优于现有方法。

论文地址：https://arxiv.org/pdf/2405.18357

项目地址：https://github.com/Aiden0526/SymbCoT

SymbCoT的优势在于:

复杂推理能力:SymbCoT在处理更深层次推理问题时表现更佳。

鲁棒性:SymbCoT在执行符号表达式语法时的成功率显著提高，显示出对语法错误的鲁棒性。

可信的逻辑推理:与传统CoT相比，SymbCoT基于严密的逻辑推理和验证，有效消除了过程中的不可信因素。

符号与自然语言混合表达:SymbCoT通过结合符号和自然语言表达来纠正翻译错误并增强逻辑推理的有效性。

不同LLM的影响:SymbCoT与更先进的模型（如GPT-4）之间的协同效应更为显著。