自学内容网 自学内容网

分布式训练

一、分布式计算

        跟多GPU不同是:数据不是从主存拿的,是在分布式文件系统拿的,有多个工作站,工作站中有多个GPU,通过网络读取数据到GPU中,GPU通过网络接收到来自参数服务器的参数进行运算计算梯度,最后将梯度传回服务器,服务器对梯度进行求和更新参数

二、GPU架构

本地多通讯指GPU与GPU之间速度快

三、计算小批量步骤

1、从每个计算服务器中读取小批量中的一块

2、进一步将数据切分到每个GPU上

3、每个worker从参数服务器中获取模型参数

4、复制到每个GPU中

5、每个GPU计算梯度

6、将所有GPU中的梯度求和

7、梯度传回服务器中

8、每个服务器对梯度求和并更新参数

四、同步SGD

五、性能

在分布式计算时要避免通信的开销大于计算的开销,一个简单的方法就是将batchsize增大,但数据集不大的时候用过于大的batchsize可能会使测试精度变低;

增大批量大小,会一定程度的提高系统性能;但随着批量大小的增加,收敛程度会变低,需要更多的epoch进行训练,所以需要权衡

1、使用一个大的数据集

2、需要更好的GPU-GPU和机器-机器带宽

3、高效的数据读取与预处理

4、模型需要更好的计算(FLOP)通讯(model size)比Inception>ResNet>AlexNet因为AlexNet一下子就算完了,很难做并行

5、使用足够大的批量大小来得到好的系统性能

6、使用高效的优化算法来对应大批量大小

六、总结


原文地址:https://blog.csdn.net/qq_58317297/article/details/140345558

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!