微软发布新型AI训练法“思想算法” 使AI更具人类思维能力

要点:

微软与弗吉尼亚理工大学合作，提出“思维算法”新训练方法，目的是使大语言模型如ChatGPT在推理上更高效、更具人类思维逻辑。

“思维算法”通过组织模型有序地探索不同解决方案，融合了人类直观认知与算法逻辑思维的优势。

研究人员认为，这种方法可以指导模型高效解决复杂实际问题，还可减少模型的碳足迹。

微软公司推出了一种名为“思维算法”（AoT）的全新AI训练方法，旨在提高大型语言模型(如ChatGPT)在推理能力方面的效率和人类相似度。

对于已经在人工智能领域进行大量投资的公司来说，这是自然的发展步骤，尤其是对OpenAI——DALL-E、ChatGPT和功能强大的GPT语言模型的创造者。

根据发表的研究论文，微软表示，AoT技术是一种潜在的游戏规则改变者，因为它“引导语言模型通过更简化的问题解决路径”。这种新颖的方法利用了“上下文学习”，使模型能够系统地以有组织的方式探索不同的解决方案。

“我们的方法优于先前的单查询方法，并与最近采用广泛树搜索的多查询方法相当。有趣的是，我们的结果表明，使用算法指导模型可以导致性能超过算法本身。”

研究人员声称，当这种技术优化其搜索过程时，模型获得了改进的“直觉”。

人机混合算法?AoT方法解决了当前上下文学习技术（如“思维链”）的限制。有时，CoT提供错误的中间步骤，而AoT则使用算法示例来指导模型，以获得更可靠的结果。

AoT从人和机器中汲取灵感，以提高生成型AI模型的性能。虽然人类在直观认知方面表现出色，但算法以其有组织的、详尽的探索而闻名。研究论文称，“思维算法”寻求将这两种方面融合起来，增强大型语言模型的推理能力。

微软表示，这种混合技术使模型能够克服人类工作记忆的限制，从而能够更全面地分析想法。

与CoT的线性推理或“思维树”（ToT）技术不同，AoT允许对子问题的不同选项进行灵活的思考，只需最少的提示就能保持有效性。它还与外部树搜索工具相媲美，有效地平衡成本和计算。

总的来说，AoT代表了从监督学习到整合搜索过程的转变。通过改进提示工程，研究人员相信这种方法可以使模型高效地解决复杂的现实世界问题，同时也减少它们的碳足迹。

鉴于其在人工智能领域的大量投资，微软似乎有能力将AoT纳入像GPT-4这样的先进系统。尽管具有挑战性，但教导语言模型以更人性化的方式进行“思考”可能会带来革命性的变革。