自学内容网 自学内容网

layernorm笔记

layer norm的解释

二维

红色为batchnorm,蓝色为layer norm
batchnorm对每一个特征算均值和方差
layer norm对每一个批次算均值和方差
在这里插入图片描述

三维

红色为batchnorm,蓝色为layer norm
batchnorm对每个句子的第K个词做归一化
layer norm对每个句子的每个词做归一化
在这里插入图片描述

batchnorm和layernorm主要的区别

在算均值和方差的上面

batchnorm

在这里插入图片描述
理论算矩阵中阴影面积中的方差和均值,实际算整个矩阵中的方差和均值阴影部分的长度为小批量中的句子长度,用0补全

  • 均值和方差波动比较大

  • 预测时,如果预测样本的长度超过训练样本的最大长度,使用训练的均值和方差效果可能不是那么好
    layernorm
    在这里插入图片描述
    矩阵中阴影部分的面积算方差和均值
    每个样本(每个句子里面自己所有的词)自己算均值和方差,不需要存一个全局的均值和方差,因为是对每个样本做的norm。

为什么要在序列转录模型中使用layer norm?

在时序的样本中,每个样本的长度可能发生变化
源自李沐论文讲解


原文地址:https://blog.csdn.net/qq_70770395/article/details/142744123

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!