微软推出ND H100v5虚拟机系列 配备8个英伟达H100芯片

微软推出了全新的 ND H100v5虚拟机系列，该系列配备了最新的 NVIDIA H100Tensor Core GPU 和 NVIDIA Quantum-2InfiniBand 网络。

这款虚拟机具有 AI 超级计算 GPU、新一代 CPU、低延迟网络、优化主机到 GPU 的性能以及大规模的内存和内存带宽等特性，能够提供无与伦比的计算能力。

使用新的8位 FP8浮点数据类型进行矩阵乘法操作时，速度提升了六倍，比前一代的 FP16更快。ND H100v5VM 帮助大型语言模型（如 BLOOM175B 端到端模型）实现了最高两倍的推理速度提升，验证了它们进一步优化 AI 应用的潜力。

ND H100v5VM 虚拟机系列具有以下特性:

AI 超级计算 GPU:配备了八个 NVIDIA H100Tensor Core GPU。比起上一代虚拟机，该系列可让 AI 模型显著提速，为企业提供无与伦比的计算能力。

新一代计算机处理单元（CPU）:CPU 性能对于 AI 的训练和推理至关重要，微软选择了第四代 Intel Xeon Scalable 处理器，确保虚拟机达到最佳的处理速度。

低延迟网络:采用 NVIDIA Quantum-2ConnectX-7InfiniBand，每个 GPU 拥有400Gb/s、每个 VM 拥有3.2Tb/s 的跨节点带宽，确保 GPU 间的无缝性能，堪称全球顶级的超级计算机。

优化主机到 GPU 的性能:通过PCIe Gen5提供每个GPU64GB/s的带宽，Azure在CPU和GPU之间具有显著的性能优势。

大规模的内存和内存带宽:DDR5内存是该系列虚拟机的核心，提供更高的数据传输速度和效率，使它们成为处理大规模数据集工作负载的理想选择。