深度学习之激活函数——RReLU
随机修正整流线性单元(RReLU)，全称Randomized ReLU，是ReLU的延伸版，也是为了解决dead relu神经元坏死现象而提出的一种激活函数。
函数表达式
f ( x ) = { α x , x ≤ 0 x , x > 0 其中 α 满足 U ( m , n ) f(x)=\begin{cases} \alpha x,\quad x\leq 0\\ x, \quad x>0 \end{cases} \\其中\alpha满足U(m,n) f(x)={αx,x≤0x,x>0其中α满足U(m,n)
当 x < 0 x<0 x<0时，函数值为 f ( x ) = α x f(x)=\alpha x f(x)=αx，但是 α \alpha α初始是一个随机变量，随后不断进行修正，其取值范围为 [ m , n ] [m,n] [m,n]；当 x > 0 x>0 x>0时，函数值为 f ( x ) = x f(x)=x f(x)=x
函数图像
如上图，左侧函数在黄色区域的范围内进行选择。
函数特性
优点：
- 引入了随机因素，可以减少过拟合的风险
原文地址：https://blog.csdn.net/m0_61787307/article/details/139024627
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！