能耗比达到GPT-4 10倍！黄学东亲自解密Zoom AI的成功之道，AI伴侣直接替你开会

近日，AI大佬，现任Zoom CTO的黄学东，在自家的官网上发表了一篇博客。

其中隆重介绍了自己加入Zoom六个月之后创新的成果——Zoom AI Companion，以及驱动Zoom AI Companion的Zoom联邦（federated approach）AI。

在Zoom之前，黄学东曾担任微软Azure AI首席技术官，他不仅是微软首位全球华人技术院士，也是微软最高级别的华人科学家。

黄学东在微软任职了超过30年，在他的牵线搭桥下，微软于1998年在北京建起第一个亚洲研究院。

在2017年和2020年，黄学东分别当选ACM和IEEE会士，并于2023年同时当选美国国家工程院院士和美国艺术与科学院院士。

黄学东表示，人工智能从概念化到实现的转型之旅，就像一条曲折的道路，充满了不断的破坏、适应和创新。

「在过去的30年里，我一直走在这条道路上，从语音识别、自然语言理解，到计算机视觉。在我加入 Zoom 的过去六个月里，创新的步伐尤其令人震惊。」

Zoom联邦AI，用合适的AI跑合适的任务

Zoom希望使用AI来改善人类协作方式，不断提高生产力。

多年来，Zoom一直在为客户提供语音识别、计算机视觉、机器翻译和大型语言模型（LLM）等AI服务，以增强自家软件的竞争力。

他们的最新产品Zoom AI Companion，旨在帮助用户提高工作效率、促进无缝协作并获得更深入的交流和见解。

Zoom的联邦AI，能够使用户在之前付费服务的基础上，不用额外花钱就能享受AI Companion的功能。

这样能够大大提升用户的体验，还能快速提高新技术的在用户中的渗透率。

但是对于Zoom这样拥有大量用户，高强度使用AI功能的软件，LLM推理的额外成本怎么负担呢?

要知道，GitHub的Copilot被传说，每月收费10刀，依然每个用户每月还要补贴20刀。

Zoom目前使用的LLM包括自有模型和第三方的模型（如OpenAI GPT-3.5和GPT-4，以及Anthropic Claude2）。

Zoom联邦AI，可以整合来自合作伙伴的最新的LLM技术（例如OpenAI最新发布的GPT-4Turbo），进一步改善Zoom客户的端到端体验。

Zoom采用了具有更好成本效益的策略:

首先使用合适的低成本LLM来完成任务，然后通过Z-Scorer评估初始任务完成质量。

在有需要的情况下，Zoom会使用更高级的LLM， 对初始LLM所获得的成果进行改进。

——这类似于一个有凝聚力的团队协同工作，能够比一个人更高效地生产更高质量的产品。

根据Zoom的内部测试，与OpenAI GPT-3.5Turbo或其他几种最先进的LLM相比，Zoom采用联邦AI提高了AI Companion的输出质量，还有效地控制了成本。

黄学东表示，他们衡量性能的标准是更低的成本、更快的响应时间和更高质量的输出。

上图是Zoom AI Companion与GPT-4在英文会议查询任务上的性能和成本对比。

图中比较的两个关键指标为成本和输出质量。

Zoom AI Companion只用了不到GPT-46%的成本，就能达到几乎相当的输出质量。

与微软Copilot使用的GPT-4-32k模型相比，Zoom AI Companion的会议提问功能，可降低成本，加快响应速度，同时保持相当的输出质量。

上图是Zoom AI Companion与GPT-4在多语言会议摘要任务上的对比。

此外，AI Companion的多语言性能，进一步证明了Zoom联邦AI的强大功能，支持除英语之外的32种语言。

由于大多数LLM主要是使用英语数据进行预训练，所以Zoom增加了翻译模型来扩展多语言能力。

上图对比了Zoom AI Companion与Microsoft Copilot在多语言会议摘要任务中的表现，同样使用GPT-4作为Microsoft Copilot的代理来进行对比。

在Zoom AI Companion的多语言会议摘要中，使用Zoom的翻译模型将非英语文本翻译成英语，这样能同时考虑翻译数据与原始数据。

从图中可以看出，Zoom AI Companion以不到6%的成本完成了质量接近于GPT-4-32k的输出（97%）。

Zoom相信，人工智能的好处应该让尽可能多的人广泛使用，而Zoom的联邦AI能够无缝结合不同AI系统的优势，提供高性能结果，在实现这一愿景方面发挥着重要作用。

Zoom AI Companion，最智能的会议助手

而Zoom现在几乎所有AI功能的入口，都集中在了他们9月底推出的Zoom AI Companion上。

作为Zoom提供的「充值服务」，它利用Zoom提供的AI能力，能帮助你在中途加入会议之后，自动总结错过的会议内容。

然后轮到你发言时，结合你的观点和之前会议的内容，生成发言稿，真的做到了「替代用户开会」。

在半程加入会议之后，AI可以告诉你会议的重点。

还能帮你实时转录翻译其他参会者发言，一键获取会议讨论文本。

AI还能帮你把碎片化的信息归纳出来，最后为团队生成会议总结和记录。

还能把Zoom平台上获得的客户短信息进行总结，生成具体的执行方案。

而且对于参加不了的会议，还可以在日程表上直接安排AI智能录制，之后分段分重点回看。

而这整个AI伴侣背后，都凝结了Zoom和黄学东联邦AI的技术思路，用合适的AI资源去处理合适的请求。

而且Zoom承诺，不会使用用户的任何音频、视频、聊天、屏幕共享、附件或客户生成的内容（例如投票结果、白板）等其他数据来训练Zoom或第三方的AI。

这么多好用的功能，这么负责的AI，需要花多少钱呢?

150刀到200刀就能用一年，企业用户还有专门的定制版本。