Human or Not游戏测试：三分之一的人分不清人和AI

日前，OpenAI 的竞争对手AI21Labs发布了一项名为“ Human or Not ”的网络游戏社交实验的结果，该游戏发现高达32% 的人无法区分人类和 AI 机器人。

该公司称这款游戏是迄今为止规模最大的图灵测试，它使用基于领先的大型语言模型 （LLM）(例如 OpenAI 的 GPT-4和 AI21Labs的Jurassic-2、最终分析了超过一百万次的对话和猜测。

结果令人诧异:一方面，测试表明，人们发现更容易识别对象是不是同类（即人类），参与者猜对率73% 。但在与机器人交谈时，参与者只猜对率只有60% 。

但除了这些数字之外，研究人员还指出，参与者使用了几种流行的方法和策略来确定他们是在与人交谈还是与机器人交谈。例如，他们假设机器人不会犯拼写错误、语法错误或使用俚语，而在游戏中的大多数模型都经过训练可以犯这些类型的错误并使用俚语。

参与者还经常问一些个人问题，例如“你来自哪里?”、“你在做什么?” 或“你叫什么名字?”，相信人工智能机器人不会有个人历史或背景，而且他们的回答将仅限于某些主题或提示。然而，机器人大多能够回答这些类型的问题，因为它们接受过很多个人故事的训练。

在两分钟的对话之后，用户被要求猜测他们一直在人还是机器人对话。经过一个多月的游戏和数百万次对话，结果表明32% 的人无法区分人类和人工智能。

些参与者认为，如果他们的讨论伙伴过于礼貌，他们可能是一个机器人。