网站可以阻止OpenAI网络爬虫 避免数据用于训练 GPT 模型

本文概要:

1. OpenAI 现允许网站屏蔽其网络爬虫，以防止其抓取网站内容训练 GPT 模型的。

2. 阻止 GPTBot 可能是 OpenAI 允许互联网用户选择不让其数据用于训练其大型语言模型的第一步。

3. 在获取用于训练 AI 的数据方面存在争议，一些网站和作者提出限制 AI 公司使用其内容的要求。

OpenAI 现在允许网站屏蔽其网络爬虫，以帮助网站运营商防止其内容被用于训练 GPT 模型。

具体来说，网站可以通过在其 Robots.txt 文件中明确禁止 GPTBot 爬虫程序的出现，或者阻止其 IP 地址来实现屏蔽。

OpenAI 表示，通过使用 GPTBot 抓取的网页可能会用于改进未来的模型，但也会进行过滤以删除需要付费访问、包含个人身份信息或违反政策的内容来源。

阻止 GPTBot 可能是 OpenAI 允许互联网用户选择不让其数据用于训练大型语言模型的第一步。之前有一些尝试创建标记来排除训练内容的举措，例如去年 DeviantArt 提出的 "NoAI" 标签。然而，阻止 GPTBot 并不会从 ChatGPT 的训练数据中删除之前从网站上抓取的内容。

获取用于 AI 训练的数据已经成为一个越来越具有争议的问题。一些网站，包括 Reddit 和 Twitter，一直在努力限制 AI 公司对用户发布内容的免费使用，同时一些作者和创作人也因涉嫌未经授权使用其作品而提起诉讼。议员们在上个月的几次 AI 监管听证会上也关注了数据隐私和同意问题。

在获取数据方面，OpenAI 并未确认是否通过社交媒体帖子、受版权保护的作品或者互联网的哪些部分来获取数据。

据Axios报道，一些公司，如 Adobe，提出了通过反冒充法律来标记数据为不可用于训练的想法。包括 OpenAI在与白宫签署的协议中同意开发一种水印系统，以让人们知道某个内容是否由 AI 生成，但并未承诺停止使用互联网数据进行训练。