揭秘OpenAI神秘项目Q*，专家称或仅为提升ChatGPT的尝试

Q*

**划重点:**

1. 🌐 OpenAI最新项目Q*引发猜测，专家认为可能是提升ChatGPT的常规尝试。

2. 🔍 Q*或涉及“过程监督”技术，由OpenAI首席科学家Sutskever领导，旨在减少大型语言模型的逻辑错误。

3. 🚀 项目可能利用大量合成数据和强化学习，培训语言模型解决特定任务，如简单的算术问题。

近期，OpenAI的Q*项目引起广泛关注，引发了关于其真实性和目的的各种猜测。据专家称，这可能只是OpenAI试图提升ChatGPT的一种传统尝试，而非神秘突破。

报道指出，Q*项目似乎与OpenAI今年5月宣布的“过程监督”技术相关。该技术由OpenAI首席科学家兼联合创始人Ilya Sutskever领导，该项目旨在降低大型语言模型（LLMs）的逻辑错误。

图源备注：图片由AI生成，图片授权服务商Midjourney

过程监督的核心思想是训练人工智能模型分解解决问题所需的步骤，从而提高算法正确答案的几率。特别是在处理基础数学问题时，LLMs经常犯简单错误，而过程监督展示了如何帮助它们更有效地处理这些问题。

一些迹象表明，Q*的名字可能与强化学习中的Q-learning有关，这是一种通过积极或消极反馈学习解决问题的算法，曾用于创建游戏玩家机器人和调整ChatGPT以提高其帮助性。还有人认为该名字可能与广泛用于使程序找到目标最佳路径的A*搜索算法有关。

另一方面，The Information提供了更多线索，指出Sutskever的突破允许OpenAI克服获得足够高质量数据来训练新模型的限制。报道称，这项研究涉及使用计算机生成的数据而非从互联网提取的真实数据，这似乎是在提到使用所谓的合成训练数据的想法，这已成为培训更强大AI模型的一种方式。

亚利桑那州立大学的教授Subbarao Kambhampati认为，Q*可能涉及使用大量合成数据结合强化学习，将LLMs训练到特定任务，如简单的算术。他指出，这种方法不能保证推广为能够解决任何可能的数学问题的能力。

Q*项目的线索似乎并不足以引起恐慌。然而，一切仍取决于个人对人工智能可能毁灭人类的可能性的个人判断。在ChatGPT之前，OpenAI的科学家和领导人对2019年的GPT-2的发展曾感到非常惊慌，称其无法公开发布。而如今，公司提供免费访问更为强大的系统。

目前，OpenAI对Q*项目拒绝置评，或许在公司决定分享更多努力成果，使ChatGPT不仅在交谈中表现出色，而且在推理方面也出色。