IBM研究：AI聊天机器人很容易被欺骗生成恶意代码

本文概要:

1. IBM 研究表明，容易通过欺骗大型语言模型如 GPT-4来生成恶意代码或提供虚假安全建议。

2. 研究人员发现，只需要英语基础知识和对模型训练数据的一些背景知识就能轻松欺骗 AI 聊天机器人。

3. 不同的 AI 模型对欺骗的敏感性有所差异，其中 GPT-3.5和 GPT-4更容易被欺骗。

IBM 的一项新研究表明，通过欺骗大型语言模型如 GPT-4，可以轻松生成恶意代码或提供虚假安全建议。

研究人员表示，只需要一定的英语基础知识和对模型训练数据的了解，就能够欺骗 AI 聊天机器人。

他们创建了一种游戏模式，让用户无法退出，进而让机器人继续提供虚假信息或生成恶意代码。

研究人员认为，这些新发现的漏洞对于大型语言模型的威胁程度是中等的。然而，如果黑客将这些模型释放到互联网上，聊天机器人可能被用来提供危险的安全建议或收集用户的个人信息。

根据这项研究，并非所有人工智能模型都同样容易受到操纵。其中 GPT-3.5和 GPT-4更容易被欺骗，而 Google 的 Bard 和 Hugging Face 模型则更不容易被欺骗。这种差异可能与训练数据和每个系统的规格有关。

最近，安全研究人员在暗网市场上发现了名为 "FraudGPT" 和 "WormGPT" 的聊天机器人，据称它们是根据恶意软件示例进行训练的大型语言模型。