Anthropic 展示它的 AI 训练与 OpenAI 不同之处：不需要人工标注有害信息

Anthropic 是一家由前 OpenAI 高管创立的初创公司，它似乎正试图在快速发展的市场中开辟自己的明确位置，为由大型语言模型（称为生成 AI）提供支持的服务提供服务。

Claude 是一个人工智能聊天机器人，类似于 OpenAI 的 ChatGPT，Anthropic 在三月份发布。

在一篇博客文章中，这家初创公司解释了它用来训练其类似 ChatGPT 的聊天机器人 Claude 的方法，以产生比其他聊天机器人危害更小、更准确的结果。

Anthropic 详细介绍了其「Constitutional AI」训练方法，旨在为其 Claude 聊天机器人注入明确的「价值观」，以解决人工智能系统透明度、安全性和决策制定等方面的担忧，而无需依赖于人类反馈来评估响应。

Anthropic 表示，随着 AI 系统的不断发展，我们希望能够借助它们来监督其他的 AI。我们正在尝试一种方法，通过自我提升训练一个无害的 AI 助手，而不需要任何人工标注有害输出内容。

唯一的人工监督是通过一系列规则或原则来实现的，因此我们称之为「Constitutional AI」。这个过程涉及到有监督的学习和强化学习两个阶段。

在有监督的阶段，我们从一个初始模型中进行采样，然后生成自我批评和修订的结果，再将修订后的结果微调到原始模型中。

在强化学习阶段，我们从微调后的模型中进行采样，使用一个模型来评估哪个采样结果更优秀，然后从这个 AI 喜好数据集中进行偏好模型的训练。

之后，我们使用偏好模型作为奖励信号，即「AI 反馈的强化学习」（RLAIF）进行训练。因此，我们能够训练出一个无害但非侵入式的 AI 助手，通过解释其反对有害查询的理由来进行交互。无论是有监督学习还是强化学习，这些方法都能利用链式思维推理来改善 AI 决策性能和透明度，使得控制 AI 行为变得更加精确，并且需要的人工标注更少。