微软推出最新 Azure 虚拟机 ND H200 v5 系列

声明：本文翻译自微软全球官方博客，ND H200 v5 系列虚拟机目前只在 Microsoft Azure 海外版上发布。

随着人工智能领域的高速发展，企业对于可扩展和高性能基础设施的需求呈指数级增长。客户需要 Azure AI 基础设施来开发智能驱动的创新解决方案，为满足客户的需求，我们推出了基于 Azure ND H200 v5 系列虚拟机（VM）的新型云端人工智能超级计算集群。这些虚拟机现已在 Microsoft Azure 海外版上正式发布，专为处理复杂的高级人工智能工作负载（从基础模型训练到生成推理）量身定制。ND H200 v5 虚拟机的规模、效率和增强性能，推动了客户对于微软人工智能服务（如 Azure 机器学习和 Azure OpenAI 服务（国际版））的采用。

H200 超级计算集群的设计还能更高效地管理 GPU 内存的模型权重、键值缓存和批处理大小，这些因素都会直接影响基于大语言模型（LLM）的生成式人工智能推理工作负载中的吞吐量、延迟和成本效益。ND H200 v5 VM 拥有更大的高带宽内存容量，可以支持更高的批处理大小。与 ND H100 v5 系列相比，ND H200 v5 VM 可在推理工作负载中实现更高的 GPU 利用率和吞吐量。在早期测试中，我们观察到在运行 LLAMA 3.1 405B 模型的推理工作负载中，ND H200 v5 虚拟机的吞吐量比 ND H100 v5 系列提升高达 35%。

Azure ND H200 v5 虚拟机采用微软的系统设计方法，以提高效率和性能。特别要说明的是，它还解决了 GPU 原始计算能力增长速度远快于附带内存和内存带宽的差距问题。相比上一代 Azure ND H100 v5 虚拟机，Azure ND H200 v5 系列虚拟机的高带宽内存（HBM）增加了 76%，141 GB 的高速内存和 4.8 TB/秒的内存带宽，可以处理更大的数据集和更复杂的模型。高带宽内存的增加，使 GPU 能够更快地访问模型参数，从而有助于降低整体应用延迟，这对于交互式代理等实时应用，至关重要。

ND H200 v5 系列以单个虚拟机和 8 个 NVIDIA H200 Tensor Core GPU 开头，与 900 GB/s NVLink 互连。 基于 ND H200 v5 的部署可以纵向扩展到成千上万个 GPU，每个虚拟机的互连带宽为 3.2Tb/秒。VM 内的每个 GPU 都具备其自己专用的、与拓扑无关的 400 Gb/秒 NVIDIA Quantum-2 CX7 InfiniBand 连接。 这些连接在占用同一虚拟机规模集的 VM 之间自动配置，并且支持 GPUDirect RDMA。

ND H200 v5 虚拟机已预先集成 Azure 批处理、Azure Kubernetes 服务、Azure OpenAI 服务（国际版）和 Azure 机器学习，可帮助企业快速上手。

您可以扫描下方二维码，了解有关全新 Azure ND H200 v5 虚拟机的更多参数信息。

原文地址：https://blog.csdn.net/helendemeng/article/details/142852736

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！