自学内容网 自学内容网

【AI】Pytorch 系列:学习率设置

a. 有序调整:等间隔调整(Step),按需调整学习率(MultiStep),指数衰减调整(Exponential)和 余弦退火CosineAnnealing。
b. 自适应调整:自适应调整学习率 ReduceLROnPlateau。
c. 自定义调整:自定义调整学习率 LambdaLR。

#得到当前学习率
lr = next(iter(optimizer.param_groups))['lr'] 
#multiple learning rates for different layers.
all_lr = []

原文地址:https://blog.csdn.net/liudongdong19/article/details/135492474

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!