​Bing Chat因GPU需求巨大，微软将找Oracle租用

划重点:

🔸 微软计划将Bing搜索使用的机器学习模型的一部分转移到Oracle的GPU超级集群，以满足其AI服务的巨大需求。

🔸 合作涵盖了微软与Oracle在云基础设施领域的合作，以满足搜索结果速度和扩展客户访问的需求。

🔸 微软的Bing Chat引入了生成式AI聊天机器人，需要大规模的GPU集群进行训练和推断。

据《The Register》报道，微软计划将Bing搜索中使用的一部分机器学习模型转移到Oracle的GPU超级集群，以满足其AI服务的高需求。这项跨多年的协议旨在帮助微软应对其AI服务的爆炸式增长，尤其是Bing Chat的推出，该服务于今年2月率先将生成式AI聊天机器人引入其搜索引擎中。

图源备注：图片由AI生成，图片授权服务商Midjourney

微软的Divya Kumar表示，与Oracle的合作以及与Microsoft Azure AI基础设施的协同使用，将有助于扩展客户访问并提高搜索结果的速度。这项合作基本上可以理解为，微软需要更多的计算资源来应对其AI服务的增长，而Oracle恰好有成千上万的Nvidia A100和H100GPU可供租赁。

Bing Chat不仅需要大规模的GPU集群用于训练，还需要在推断阶段以规模运行。而在这方面，Oracle的GPU集群将发挥关键作用。这两家云服务提供商的最新合作利用了Oracle Interconnect for Microsoft Azure，允许在Azure中运行的服务与Oracle Cloud Infrastructure（OCI）中的资源互动。此前，这两家超级企业已经使用该服务，允许客户将在Azure中运行的工作负载连接到OCI数据库。

根据StatCounter的数据，截止到2023年10月，Bing在全球网络搜索市场份额中占3.1%，而Google占91.6%，但与上月的3%相比有所增长。在桌面设备上，Bing的市场份额达到9.1%，而在平板设备上为4.6%。尽管如此，是否Bing真的如数据所示非常受欢迎仍有争议。也有可能微软希望营造Bing需求旺盛的形象，或者确实需要额外的计算资源来满足其增长需求。

Oracle声称其云超级集群每个都可以扩展到32，768个Nvidia A100或16，384个H100GPU，使用超低延迟的Remote Direct Memory Access（RDMA）网络。此外，它还提供了支持高度并行应用程序的高性能集群文件存储。

尽管微软尚未透露需要多少Oracle的GPU节点来支持其AI服务和应用程序，但这次合作不是微软和Oracle首次相互帮助。早在去年9月，Oracle宣布将其数据库系统放置在Microsoft Azure数据中心，旨在降低OCI中运行的Oracle数据库与Azure工作负载之间的延迟。