以太坊创始人 Vitalik Buterin：如果超级人工智能攻击人类，「甚至火星也可能不安全」

以太坊创始人 Vitalik Buterin 近日在反思 Marc Andreessen 于 10 月发布的《技术乐观主义宣言》时，分享了他对「技术乐观主义」的看法。Buterin 对 Andreessen 对 AI 的积极展望表示赞同，同时强调了 AI 发展方式及其未来方向的重要性。

图源备注：图片由AI生成，图片授权服务商Midjourney

Buterin 认识到了人工智能的存在风险，包括导致人类灭绝的可能性。

他说：「这是一个极端的说法：即使是气候变化、人造疫情或核战争等最坏情况所造成的伤害，也仍有许多文明岛屿能够幸存下来重建。但是，如果超级智能 AI 决定反抗我们，可能会彻底消灭人类，甚至火星也可能不安全。」

Buterin 指出了 2022 年 AI Impacts 进行的一项调查，该调查显示，5% 至 10% 的参与者认为，人类面临着因 AI 或人类无法控制 AI 而灭绝的风险。他认为，以安全为重点的开源运动是领导 AI 发展的理想选择，而不是封闭且专有的公司和风险资本基金。

Buterin 继续说，所需的是积极的人类意图来选择其方向和结果。「『最大化利润』的公式不会自动实现这些目标。」

Buterin 表达了对技术的热爱，因为它扩展了人类的潜力，指出了从手工工具到智能手机等创新的历史。

他说：「我相信这些东西是非常好的，扩展人类的能力达到行星和恒星也是非常好的，因为我相信人类是非常善良的。」

Buterin 表示，尽管他相信变革性技术将为人类带来更美好的未来，但他反对世界应该保持现状、只是减少贪婪和增加公共医疗保健的观念。

他说：「有些类型的技术比其他类型更可靠地改善世界。有些类型的技术如果开发出来，可以减轻其他类型技术的负面影响。」

Buterin 对数字威权主义的崛起和反对政府的人使用的监控技术提出了警告，这些技术被少数技术官僚控制。他说，大多数人宁愿看到高度先进的 AI 被推迟十年，也不愿看到它被单一集团垄断。

他说：「我担心的是，同样的管理技术使 OpenAI 能够以 500 名员工服务超过一亿客户，也将使 500 人的政治精英，甚至是 5 人董事会，能够对整个国家维持铁腕统治。」

Buterin 表示，尽管他对有效加速（也称为「e/acc」）运动表示同情，但他对其对技术的热情有着复杂的感受。

他说：「对现代技术作为善的力量的热情似乎需要相信，主导技术力量在大多数冲突中，现在和将来都可靠地是好人。」他引用了一种观点，即技术是好的，因为它是由美国建造和控制的，而美国是好的。

他问道：「成为 e/acc 是否需要成为美国极端主义者，把一切赌在政府现在和将来的道德上，以及这个国家的未来成功上？」

Buterin 警告不要把「极端和不透明的权力」赋予少数人，并希望他们明智地使用它，而是倾向于「d/acc」哲学——即防御、去中心化、民主和差异。他说，这种心态可以适应有效的利他主义者、自由主义者、多元主义者、区块链倡导者和太阳能和月球朋克。

他说：「一个偏向防御的世界是一个更好的世界，原因有很多。首先当然是安全的直接好处：更少的人死亡，更少的经济价值被摧毁，更少的时间浪费在冲突上。」

他总结说：「但人们较少意识到的是，一个偏向防御的世界使更健康、更开放、更尊重自由的治理形式更容易繁荣。」

尽管他强调了建设和加速的需要，Buterin 说，社会应该定期询问我们正在加速的方向。Buterin 暗示，21 世纪可能是「人类的关键世纪」，可能决定了人类未来千年的命运。

他说：「这些是具有挑战性的问题。但我期待着观看并参与我们物种为找到答案而进行巨大的集体努力。」