OpenAI 人工智能文本检测器正确率只有 26% 且有 9% 的误报

OpenAI 日前关闭了一个本应用于区分人类写作和 AI 写作的工具，原因是准确率较低。在一篇（更新后的）博客中，OpenAI 表示决定自 2023 年 7 月 20 日起停用其 AI 检测器。该公司表示：「我们正在努力吸纳反馈意见，并正在研究更有效的文本来源技术。」

在博客文章中，OpenAI 表示，我们的 AI 检测器并不完全可靠。在我们对英语文本「挑战集」的评估中，我们的检测器正确地将 26% 的人工智能编写的文本（真阳性）识别为「可能是人工智能编写的」，而将 9% 的人类编写的文本错误地标记为人工智能编写的（误报）。

虽然关闭了用于捕捉 AI 生成的写作的工具，OpenAI 表示计划「开发和部署机制，使用户能够了解音频或视觉内容是否由 AI 生成。」目前尚不清楚这些机制会是什么样的。

OpenAI 完全承认该检测器从未很好地捕捉到 AI 生成的文本，并警告说它可能会出现误报，即将人类撰写的文本标记为 AI 生成。在关闭该工具之前，OpenAI 表示分类器通过更多数据可能会变得更好。

在 OpenAI 的 ChatGPT 迅速走红成为有史以来增长最快的应用程序之后，人们争先恐后地去掌握这项技术。一些领域对 AI 生成的文本和艺术产生警惕，特别是教育工作者担心学生将不再学习，而只是让 ChatGPT 写作业。在对准确性、安全性和作弊担忧的背景下，纽约的学校甚至禁止在校园内使用 ChatGPT。

AI 传播的错误信息也是一个问题，研究表明，AI 生成的文本（如推文）可能比人类撰写的更具有说服力。政府尚未找到限制 AI 的方法，到目前为止，只能让各个团体和组织制定自己的规则和发展自己的保护措施来处理大量由计算机生成的文本。

目前看来，甚至是帮助开启生成式 AI 热潮的公司，都对如何处理这一切问题没有答案。虽然有些传播错误信息的人会被抓住，但要轻松区分 AI 和人类的工作将变得更加困难。

在 OpenAI 的信任和安全领导人最近离职的同时，联邦贸易委员会正在调查 OpenAI 的信息和数据审核方式。OpenAI 拒绝对其博客文章以外的事情进行评论。