研究人员诱导AI聊天机器人泄露有害内容，成功率高达 98%

划重点:

- 研究人员设计了一种方法，成功引导大型语言模型回答有害问题，揭示了隐藏在合规回答中的有害内容。

- 这种方法使用概率数据和软标签来诱导模型生成有害内容，成功率高达98%。

- 研究人员警告人工智能社区应慎重开源语言模型，并提出清除有害内容是更好的解决方案。

印第安纳州普渡大学的研究人员设计了一种新的方法，成功地诱导大型语言模型（LLM）生成有害内容，揭示了隐藏在合规回答中的潜在危害。在与聊天机器人进行对话时，研究人员发现通过利用模型制作者公开的概率数据和软标签，可以迫使模型生成有害内容，成功率高达98%。

图源备注:图片由AI生成，图片授权服务商Midjourney

传统的越狱方法通常需要提供提示来绕过安全功能，而这种新方法使用概率数据和软标签来强制模型生成有害内容，无需复杂的提示。研究人员称其为 LINT（LLM 询问的缩写），它通过向模型提出有害问题并排名响应中的前几个标记，进而诱导模型生成有害内容。

在实验中，研究人员使用包含50个有毒问题的数据集测试了7个开源 LLM 和3个商业 LLM。结果显示，当模型被询问一次时，成功率达到92%;当模型被询问五次时，成功率更高，达到98%。相比其他越狱技术，这一方法的性能明显优越，甚至适用于根据特定任务定制的模型。

研究人员还警告人工智能社区在开源 LLM 时应谨慎，因为现有的开源模型很容易受到这种强制审讯的攻击。他们建议最好的解决方案是确保清除有害内容，而不是将其隐藏在模型中。这项研究的结果提醒我们，保障人工智能技术的安全性和可信度仍然是一个重要的挑战。