首页站长资讯Anthropic 展示它的 AI 训练与 OpenAI 不同之处:不需要人工标注有害信息
1559

Anthropic 展示它的 AI 训练与 OpenAI 不同之处:不需要人工标注有害信息

站长网2023-05-10 10:13:270

Anthropic 是一家由前 OpenAI 高管创立的初创公司,它似乎正试图在快速发展的市场中开辟自己的明确位置,为由大型语言模型(称为生成 AI)提供支持的服务提供服务。

Claude 是一个人工智能聊天机器人,类似于 OpenAI 的 ChatGPT,Anthropic 在三月份发布。

在一篇博客文章中,这家初创公司解释了它用来训练其类似 ChatGPT 的聊天机器人 Claude 的方法,以产生比其他聊天机器人危害更小、更准确的结果。

Anthropic 详细介绍了其「Constitutional AI」训练方法,旨在为其 Claude 聊天机器人注入明确的「价值观」,以解决人工智能系统透明度、安全性和决策制定等方面的担忧,而无需依赖于人类反馈来评估响应。

Anthropic 表示,随着 AI 系统的不断发展,我们希望能够借助它们来监督其他的 AI。我们正在尝试一种方法,通过自我提升训练一个无害的 AI 助手,而不需要任何人工标注有害输出内容。

唯一的人工监督是通过一系列规则或原则来实现的,因此我们称之为「Constitutional AI」。这个过程涉及到有监督的学习和强化学习两个阶段。

在有监督的阶段,我们从一个初始模型中进行采样,然后生成自我批评和修订的结果,再将修订后的结果微调到原始模型中。

在强化学习阶段,我们从微调后的模型中进行采样,使用一个模型来评估哪个采样结果更优秀,然后从这个 AI 喜好数据集中进行偏好模型的训练。

之后,我们使用偏好模型作为奖励信号,即「AI 反馈的强化学习」(RLAIF)进行训练。因此,我们能够训练出一个无害但非侵入式的 AI 助手,通过解释其反对有害查询的理由来进行交互。无论是有监督学习还是强化学习,这些方法都能利用链式思维推理来改善 AI 决策性能和透明度,使得控制 AI 行为变得更加精确,并且需要的人工标注更少。

0000
评论列表
共(0)条