NVIDIA 多实例 GPU
单个 GPU 中包含七个独立实例。
文章目录
前言
多实例 GPU (MIG) 能够提升 NVIDIA Blackwell 和 Hopper™ 系列 GPU 的性能和价值。MIG 可将 GPU 划分为多达七个实例，其中每个实例均完全独立，并具有各自的高带宽显存、缓存和计算核心。如此一来，管理员便能支持各种规模的工作负载，确保服务质量 (QoS) 稳定可靠，并让每位用户都能享用加速计算资源。
一、优势
1. 扩展 GPU 的使用范围
借助 MIG，您可以在单个 GPU 上获得多达原来 7 倍的 GPU 资源。MIG 可让研发人员和开发者获享更多资源和更高的灵活性。
2. 优化 GPU 利用率
MIG 允许灵活选择许多不同的实例大小，以便针对每项工作负载提供大小适当的 GPU 实例，最终优化利用率并充分发挥数据中心投资的价值。
3. 运行同步工作负载
借助 MIG，可以在单个 GPU 上同时运行推理、训练和高性能计算 (HPC) 工作负载，并使延迟和吞吐量保持稳定。与时间分片不同，各
原文地址：https://blog.csdn.net/hidescold/article/details/142784107
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！