LLaMA 开源背后：一场永远改变硅谷的AI军备内幕

OpenAI 内部的戏剧性事件让世界第一次看到了那些将决定AI未来人的激烈争斗。事实上，在此之前，硅谷已经发生了一场鲜为人知但激烈的竞争，旨在争夺这项技术的控制权。《纽约时报》采访了80多位高管、科学家和企业家，《纽约客》采访了微软和OpenAI两家 CTO，分别从不同角度讲述了一个关于野心、恐惧和金钱的幕后故事。

在 OpenAI 于2022年11月推出 ChatGPT 的六周后，Meta 首席 AI 科学家Yann LeCun 从纽约飞往硅谷参加 Meta 的例行管理会议。

在总部一家咖啡馆排队等午餐时，LeCun 向 CEO 扎克伯格发出了警告。

他说，OpenAI 的 ChatGPT 可能会给公司带来麻烦——他需要在为时已晚之前迅速采取行动。

《纽约时报》报道称，这位科学家告诉扎克伯格，Meta 需要赶上 OpenAI 的技术 ，采取行动发布自己的 AI 助手。

不然，Facebook 和 Instagram 可能会被灭掉，AI 是未来。LeCun 警告说。

当时，扎克伯格没多说什么，但他在听。

扎克伯格花了一整年的时间围绕元宇宙重新定位公司，专注于虚拟现实和增强现实。现在，ChatGPT 需要他的注意。

但就在此之前，无论是 Meta8月推出的 BlenderBot3还是 ChatGPT 发布前两周推出的 Galactica——一个经过1200亿个参数训练的 AI 科研助手，结果都「扑」了。

特别是 Galactica，仅上线三天就迫于激烈争议下线。「Galactica 演示暂时下线。不再可能通过随意滥用它来获得一些乐趣。开心了?」当时， LeCun 颇为不平。

BlenderBot3几乎可以谈论任何话题，它会说特朗普仍然是总统，还告诉一位用户，扎克伯格「令人毛骨悚然」。

报道称，扎克伯格没有回应，但 LeCun 的话让他感到恼火。毕竟，扎克伯格希望 Meta 成为一家领先的 AI 公司，而 Meta 已经在 Facebook、Instagram 和 WhatsApp 等应用程序中部署了 AI 功能。

到了晚上，扎克伯格似乎改变了主意。

「我一直在想你说的话，」一位知情人士告诉《纽约时报》，扎克伯格在当晚的一个晚宴上告诉 LeCun。「我认为你是对的。」

在巴黎，LeCun 团队已经开发了一个大型语言模型 Genesis，他们希望将其作为开源技术发布，也几乎准备好了。

据五名知情人士告诉《纽约时报》，当他们寻求发布许可时，Meta 的法律和政策团队出于安全考虑做了一些抵制。

开源可能会将强大的技术交到那些不怀好意的人手中，而 Meta 将承担责任。

难道每个人都忘记了 Facebook 过去七年的历史吗?平台上的仇恨言论和错误信息曾引发轩然大波，致使公司在2016年大选后遭受了新闻媒体和国会的审查。

报道称，Meta 首席法务官 Jennifer Newstead 告诉扎克伯格，他们已经被盯得很紧了，开源可能会引起监管机构的注意。

但扎克伯格还是决定尽快发布该自己的开源模型。

2月，Meta 已将 LeCun 团队构建的大型语言模型 Genesis 更名为 LLaMA（即「大型语言模型 Meta AI」的缩写），并发布给公司外部的4，000名研究人员。

很快，Meta 收到了超过100，000个访问代码的请求。

ChatGPT 发布后，Meta 发生的故事也在其他巨头身上上演。

《纽约时报》对80多位高管和研究人员进行了采访，结合公司文件和录音，他们发现，ChatGPT 一经发布，曾因聊天机器人引发混乱而放慢步伐的那种担忧，现在不重要了。

虽然对安全性的担忧并没有被忽视，但它们被暂时搁置一旁，成为第一、最大或最富有——或者三者兼而有之——的本能占据了上风。

12个月的时间，硅谷发生了翻天覆地的变化，巨头们迅速扭转了路线。

「速度比以往任何时候都更加重要，」微软高管 Sam Schillace 在给员工的一封信中写道。他补充说，「此时此刻，担心以后可以解决的事情绝对是一个致命的错误。」

过去二十年里，微软试图通过在内部 AI 项目上花费数亿美元来与谷歌竞争，但收效甚微。

十几年前，微软第一次尝试将 AI 带给大众时（还记得 Office 的曲别针助手吗?）就遭遇了令人尴尬的失败，被视为「计算史上最严重的软件设计错误之一」。

2007年，微软杀死了 Clippy。九年后，微软又因为聊天机器人 Tay 的不当言论深陷一场公关灾难。

「每个人都认为 AI 是一场数据游戏，谷歌拥有更多的数据，而我们处于一个巨大的劣势，我们永远无法弥补。」一位前高管告诉《纽约客》记者，这本杂志近期一篇长文详细披露了微软与 OpenAI 合作的内幕。

高管们开始相信，像微软这样笨拙的公司——拥有超过二十万名员工和庞大的官僚机构——无法满足 AI 发展所需的灵活性和驱动力。

《纽约客》报道称，微软 CTO Kevin Scott 开始向外关注各种创业公司，OpenAI 脱颖而出。两者文化的深刻差异深深吸引了他—— OpenAI 年轻而快速，不受传统观念的束缚，他们意图「将精力集中在最具影响力的事情上。」

文章罕见提到，Kevin Scott 特别重视与 OpenAI CTO Mira Murati 的关系。和 Scott 小时候一样，Mira Murati 从小就很穷，出生在阿尔巴尼亚的她是为数不多愿意绕过弹坑去上学的孩子。

Kevin Scott 说，同意投资的一个原因是他「从未见过米拉慌张。」

Mira Murati 称自己是一个乐观主义者，也是一个现实主义者。「有时人们会误解乐观主义，比如粗心的理想主义。但它必须经过深思熟虑，并设置好护栏——否则，你就会冒巨大风险。」

OpenAI CTO Mira Murati 认为自己既是乐观主义者又是现实主义者。

微软相信，如果他们能够用 OpenAI 技术强化微软的产品，并利用这家初创公司的才能和雄心壮志，他们将在 AI 竞赛中占据显著优势。

微软慢慢开始尝试把玩这家初创公司的代码。首先是 GitHub，一些工程师团队开始尝试使用 OpenAI 的技术来帮助他们编写代码。

在 ChatGPT 发布之前，纳德拉和盖茨就已经看到 GPT-4的演示。当时，纳德拉说了一句「天哪，这个东西。」

盖茨从椅子上坐了起来，睁大眼睛。当年研究人员向他展示奠定个人电脑基础的图形用户界面时，他也有过类似反应。

后来，微软计划将其投资增加到100亿美元。

ChatGPT 发布后，2月，也就是 Meta 发布 LLaMA 的同月，微软高调推出由 ChatGPT 驱动的新版必应搜索引擎。

颇有戏剧性的是，就在微软发布新版搜索之前，谷歌抢先宣布将推出名为 Bard 的 AI 聊天机器人，与 ChatGPT 展开直接竞争，并计划首先向「值得信赖的测试人员」开放。

据《纽约时报》称，大约圣诞节前谷歌 CEO Sundar Pichai 已决定立即准备一系列基于 AI 的产品。

Pichai 清楚 ChatGPT 的缺陷——弄错内容，有时还会有偏见。令他惊讶的是，OpenAI 无论如何都发布了它，而且消费者喜欢它。

如果 OpenAI 能做到这一点，为什么谷歌不能呢?

他向谷歌首席法律顾问 Kent Walker 求助。后者知道，自己要做的就是说服高级技术审查委员会（ Advanced Technology Review Council ）抛弃惯常的谨慎态度，按照新的命令( edict )行事。而这种情形在谷歌并不经常发生。

最后，他们在商业前途和安全风险之间达成妥协——会限制推广，会避免将任何东西称为产品。对于谷歌来说，这将是一次实验。这样一来，它就不必是完美的。

这与 ChatGPT 的发布「策略」何其相似——所谓「低调的研究预览」，选择发布一个较旧的、功能较弱的技术版本，再观察公众的反应。

「我们计划将其（发布ChatGPT——译者注）视为研究发布，」OpenAI CTO Mira Murati 曾在 Slack 上告诉员工。「这降低了各个方面的风险，同时让我们学到了很多东西。」

当然，他们也确实没有料到ChatGPT发布后会立刻「起飞」。（ Greg Brockman 预测相关推文点赞量可能也就5K ）。

接下来，故事的走势都差不多，都遇到了一些麻烦，可谓喜忧参半。

LLaMA 发布一周之后，日本论坛4chan（类似国内贴吧）突然出现 LLaMA 源代码种子文件，下载量很快超越千次。

这次泄密事件再度引发对安全问题的忧虑，也在一定程度上促使两位州参议员在接下来的几个月里写信给 Meta，声称，该公司在发布 LLaMA 之前「未能进行任何有意义的风险评估」，并使该模型容易受到不良行为者的攻击。

微软的新版 Bing 搜索引擎被指责吐出令人不安的回应。而谷歌匆忙的公告变成了一种尴尬—— Bard 出师不利，在回答与詹姆斯·韦布太空望远镜有关问题时犯下事实性错误。

但这些远不足以让任何一方放慢脚步。

Meta 继续追求新的 AI 工具，在7月发布了迭代的 Llama2。

9月，又推出了最新一代的 Ray-Ban Meta 智能眼镜，以及数十个扮演帕里斯·希尔顿和 Snoop Dogg 等名人角色的 AI 聊天机器人。

谷歌在4月集中火力，合并了 Google Brain 和 DeepMind，由 DeepMind 创始人Demis Hassabis 领导，负责名为 Gemini 系统的开发。

过去很长一段时间，Hassabis 都在大声警告 AI 可能会毁灭人类，也越来越担心谷歌会用 DeepMind 的发明做什么。2017年，DeepMind 试图脱离谷歌，但在谷歌提高创始人及其员工的工资和股票奖励待遇后，脱离的努力就此做罢。《纽约时报》报道称，道德委员会从未召开过第二次会议。

现在，Hassabis 将负责带领谷歌走向 AI 霸主的地位。

与此同时，谷歌也大手笔投资对手的对手——从 OpenAI 出走的核心技术人员 Dario Amodei 创立的 Anthropic。

Dario Amodei对 OpenAI 与微软的交易并不满意，担心未来会偏袒商业利益而不是安全。《纽约时报》称，他和其他研究人员前往董事会，试图将 Altman 赶下台。失败后就离开了。

另一位一气之下离开 OpenAI 的亿万富翁 Elon Musk 发誓要创建自己的 AI 公司。他称它为 x.AI。

超级 drama 的是，四位知情人士告诉《纽约时报》，受 AlphaGO 巨大成功的刺激，为了缩小与谷歌的差距，马斯克曾于2017年底计划从 Altman 等创始人手中夺取控制权，将其转变为商业运营，与特斯拉联手，背靠这家汽车公司正在开发的超级计算机。

遭到 Altman 和其他人异议后，马斯克辞职。他说，OpenAI 需要加快行动，一位研究人员在会上反驳说，马斯克很鲁莽。马斯克称这名研究人员为「混蛋」，然后带着他的钱袋子冲了出去。

11月，x.AI 推出了一款名为 Grok 的聊天机器人，并使用 X 社交网络的数据进行训练。目前， x.AI 被曝正在寻求10亿美元融资。

至于微软，报道称，为了保持领先，纳德拉在2023年春季购买了超过20亿美元的芯片。「我们有一个大订单要来找你，一个非常大的订单。」纳德拉兴高采烈地对黄仁勋说。

看来，过往一年仅仅是更大诗篇开了个头儿。

参考链接

https://www.nytimes.com/2023/12/05/technology/ai-chatgpt-google-meta.html

https://www.nytimes.com/2023/12/03/technology/ai-openai-musk-page-altman.html?smid=nytcore-android-share&utm_source=pocket_saves

https://www.businessinsider.com/meta-ai-scientist-warned-mark-zuckerberg-facebook-instagram-chatgpt-extinct-2023-12

https://www.newyorker.com/magazine/2023/12/11/the-inside-story-of-microsofts-partnership-with-openai?utm_source=pocket_saves