OpenAI 领导者表示:我们非常重视安全

划重点:

🚨 两位AI安全高管离职:OpenAI的联合创始人兼首席科学家Ilya Sutskever和“超级对齐团队”负责人Jan Leike辞职。

🔍 团队解散与安全担忧:Leike对公司领导层在AI安全方面的重视程度表示失望，认为公司对人工通用智能（AGI）的安全问题关注不足。

🛠️ 公司回应与安全措施:CEO和总裁回应称，公司已建立安全部署的基础设施，并持续改进AI模型行为和滥用监控。

OpenAI近期面临重大人事变动，引发业界对其AI安全承诺的关注。上周，公司联合创始人兼首席科学家Ilya Sutskever宣布辞职，以追求其他项目。与此同时，“超级对齐团队”负责人Jan Leike也宣布离职，并在公开信中表达了对公司领导层的失望，特别是对AI安全重视不足的问题。

Leike特别指出，公司在人工通用智能（AGI）的安全问题上缺乏足够的重视。AGI是一种尚未实现的AI形态，能够像人类一样思考和推理。他强调，我们迫切需要认真对待AGI带来的影响，并呼吁OpenAI成为一个以安全为先的AGI公司。

对此，OpenAI的CEO Sam Altman和总裁Greg Brockman在联合声明中回应称，他们对AGI的风险和潜力有着清晰的认识。他们表示，公司一直在倡导国际AGI标准，并在检查AI系统可能带来的灾难性威胁方面发挥了先锋作用。

此外，他们还提到，公司已经建立了安全部署越来越强大系统的基础设施，并以GPT-4的推出为例，展示了公司如何在安全方面做出了大量工作，并根据部署中学到的经验不断改进模型行为和滥用监控。

据彭博新闻报道，除了Leike之外，“超级对齐团队”的其他成员也在近几个月离开了OpenAI，这无疑给公司带来了更多挑战。为了应对这一变化，公司任命了专注于大型语言模型的联合创始人John Schulman作为组织对齐工作的新科学负责人。

除了“超级对齐团队”，OpenAI还有许多专门从事AI安全的员工分布在公司内的不同团队，以及一些专门致力于安全的独立团队。其中就包括一个准备团队，负责分析和减轻与AI系统相关的潜在灾难性风险。

Sam Altman在本月早些时候的“All-In”播客中表示，他支持创建一个国际机构来监管AI，以应对可能造成的“重大全球伤害”。这表明OpenAI及其领导层对AI安全问题的认识和承诺仍然坚定，尽管公司内部的人事变动带来了一些不确定性。