ACL 2024 | 让纯LLM实现类人的符号逻辑推理能力，开源框架SymbCoT来了

首页 » ACL 2024 | 让纯LLM实现类人的符号逻辑推理能力，开源框架SymbCoT来了

文章来源于互联网:ACL 2024 | 让纯LLM实现类人的符号逻辑推理能力，开源框架SymbCoT来了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

徐俊东，本文第一作者。本科毕业于伦敦大学学院（UCL），硕士就读于新加坡国立大学（NUS）计算机系。主要研究方向为大语言模型的推理能力。

个人主页：https://aiden0526.github.io/JundongXu/

不使用外部工具也能让大语言模型（LLMs）实现严谨可信的推理，新国立提出 SymbCoT 推理框架：结合符号化逻辑（Symbolic Logical）表达式与思维链，极大提升推理质量，鲁棒性与可信度。

LLMs 已表现出强大的语义理解能力。但现有的 LLMs 在实行严密的逻辑符号推理方面还存在很大的不足，依然需要依赖不同的思维提示方法与外部的符号推理工具进行逻辑推理。如何能让 LLMs 本身具备强大的符号逻辑推理能力，是目前让 LLMs 变得更强大的重要研究方向。

最近，新加坡国立大学联合加州大学圣芭芭拉分校与奥克兰大学的研究人员共同提出全新的符号逻辑推理框架 SymbCoT（Symbolic Chain-of-Thought），在推理质量，鲁棒性与可信度都要超越现有的方法。该工作已被 ACL 2024 录用。

论文：Faithful Logical Reasoning via Symbolic Chain-of-Thought
论文地址：https://arxiv.org/pdf/2405.18357.pdf
代码地址：https://github.com/Aiden0526/SymbCoT

当前有效的逻辑推理方法还存在一些缺陷。比如说 CoT 在严密的逻辑推理过程中经常会产生逻辑谬误。引入外部工具的方法，比如 Logic-LM，使用 LLM 来翻译前提，然后使用外部推理工具如 Prover9 来进行逻辑推导，但这种方法在翻译的过程中容易出现信息损失或翻译错误导致外部推理工具无法执行。

因此，作者提出 SymbCoT，一个既可以引入严密逻辑推理，又能避免翻译造成的信息损失 / 错误导致外部推理工具失效的框架。通过实验证明，SymbCoT 与直接提示，传统 CoT 和使用外部推理工具相比，SymbCoT 分别在三个复杂逻辑推理数据集上提升 22.08%、9.31% 和 7.88%。并且在复杂场景推理、可信度、鲁棒性等方面优于现有方法。

推特知名人工智能博主随后转发了这篇论文，认为这种方法有助于改进高级工作流程，构建更可靠和智能的 LLM AI 代理。该推文仅发布一天，已获得 6w + 浏览量和超过 1200 + 点赞与收藏。