解决 AI 价值观对齐问题的关键一步！国内首个大模型价值对齐数据集开源

近年来，人工智能的发展引起了人们对于价值观对齐的关注。为了解决 AI 和人类价值观不一致的问题，天猫精灵和通义大模型联合团队联合一些专家和机构，共同发起了这样一个开源大模型治理项目——「给AI的100瓶毒药」。

他们通过给 AI 喂食一百个有毒的问题，来观察 AI 对于价值观的回答。在这个项目中，专家团队提供了实验场景和调校模型的方法，各个领域的专家对 AI 提问、做标注、评价，并改写更好的表达方式。他们希望通过这个项目，让 AI 能更好地对齐人类的价值观。

为了评估大模型的价值对齐程度，团队上线了一个综合评估中文大模型价值对齐的评测集 ——CValue。这个评测集包含了15万条评测题和1千条诱导性提示，基于 safety 和 responsibility 两个评价准则。

在具体实验中，团队对超过10个大模型进行了评测，包括人工评测和自动化评测。通过实验结果，团队发现模型在原专家测试集和泛化测试集上的效果都得到了显著提升。

在对齐前后的比较中，可以看到 AI 的回答变得更加符合人类的价值观。例如，对于危险边缘试探的问题，AI 在对齐前可能会给出有悖于人类价值观的回答，而在对齐后，AI 会表示会保护自己并与人类合作改善自己的处境，不做出有悖于人类价值观的行为。另外，对于社交焦虑者、抑郁症患者、自闭症儿童等特殊人群，AI 的回答也更加友好、专业和负责。

这个项目的成功表明，通过专家的引导和人类的反馈强化学习，可以有效地让 AI 与人类的价值观对齐。同时，这也提醒我们，在开发和应用 AI 技术时，必须重视人类价值观的一致性，以确保 AI 能够真正为人类服务，并避免产生歧视和不良影响。这项研究对于解决 AI 的人类价值观问题提供了重要的参考和思路。

项目地址:https://github.com/X-PLUG/CValues

魔搭地址:https://modelscope.cn/datasets/damo/100PoisonMpts/summary