Zero、Zero-Offload、Zero-Infinity是什么
目录
NVMe（Non-Volatile Memory Express）非易失性存储器访问和传输协议
Zero、Zero-Offload、Zero-Infinity是什么
Zero：Zero Redundancy Optimizer零冗余优化器
考虑到Transformer架构固有的内存密集型特性，高效的 显存管理仍然是LLM分布式推理中面临的首要挑战。ZeROOffload[8]
和 ZeRO-Infinity
[9]
支持内存卸载，将 GPU 的显存压 力分担到 CPU 甚至 NVMe 内存上，从而打破 GPU 的显存限制。但
此类方法需要所有计算卡间拥有高速连接
，因此使用 场景将会受到很大的限制
NVMe（Non-Volatile Memory Express）非易失性存储器访问和传输协议
Zero、Zero-Offload、Zero-Infinity是什么
即Zero、Zero-Offload、Zero
原文地址：https://blog.csdn.net/qq_38998213/article/details/143809863
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！