理解CNN中的Batch Normalization （补充 知乎博主）

理解CNN中的Batch Normalization - 知乎 (zhihu.com)

https://zhuanlan.zhihu.com/p/403073810

BN层常见有针对1d特征（全连接层后面的）

 举一个简单的例子吧 解释在全连接层（Fully Connected Layer, FC Layer）后加 BN 层时，如何计算均值和方差。

假设有一个全连接层的输出（一个 batch）如下：

这里，有 4 个样本（batch size = 4），每个样本有 3 个特征（feature dim = 3）。

计算均值和方差

对于每一个特征维度（每一列），分别计算均值和方差：

计算均值：

计算方差：

最后，通过 γ和 β 进行重新缩放和平移。比如，如果 γ1=1 和 β1=0，那么最终的输出就是标准化后的值；如果 γ1 和 β1是其他值，那么输出会相应地进行缩放和平移。

为什么需要可学习参数 γ 和 β？

虽然标准化可以使得特征的分布更加稳定，但对于深层神经网络而言，仅仅依赖标准化可能会限制模型的表达能力。因此，通过引入γ 和 β，我们可以让模型在保持数值稳定的前提下，灵活地学习到特征的最佳尺度和偏移，从而提高整体性能。

通过反向传播算法，BN 层的参数γ 和 β可以逐步优化，使得神经网络在训练过程中不仅能标准化特征，还能通过调整特征的尺度和偏移来更好地拟合数据，从而提高模型的表现。

神经网络中的其他参数（如权重和偏置）一样。以下是具体的学习过程：

 

原文地址：https://blog.csdn.net/weixin_45840973/article/details/140389273

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！