在线课程网站开发的研究意义,邯郸网站推广怎么做,湖南专业关键词优化,推广公司有哪些公司激活函数总结#xff08;十九#xff09;#xff1a;激活函数补充 1 引言2 激活函数2.1 Inverse Square Root Unit #xff08;ISRU#xff09;激活函数2.2 Inverse Square Root Linear Unit (ISRLU)激活函数 3. 总结 1 引言
在前面的文章中已经介绍了介绍了一系列激活函… 激活函数总结十九激活函数补充 1 引言2 激活函数2.1 Inverse Square Root Unit ISRU激活函数2.2 Inverse Square Root Linear Unit (ISRLU)激活函数 3. 总结 1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF)。在这篇文章中会接着上文提到的众多激活函数继续进行介绍给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图
2 激活函数
2.1 Inverse Square Root Unit ISRU激活函数
Inverse Square Root UnitISRU是一种非线性激活函数它在神经网络中用于引入非线性变换。其数学表达式和数学图像分别如下所示 I S R U ( x ) x 1 a x 2 ISRU(x) \frac{x}{\sqrt{1ax^2}} ISRU(x)1ax2 x 优点
非线性性质 ISRU 激活函数引入了非线性性质有助于神经网络模型捕捉数据中的复杂模式。平滑性 ISRU 在输入值的范围内具有连续和平滑的性质这对于梯度计算和反向传播有益。参数调整 通过调整参数 α您可以自由地控制激活函数的形状使其适应不同的数据分布和任务需求。避免梯度消失 相对于一些激活函数如 Sigmoid 和 TanhISRU 在输入较大的范围内可以避免梯度消失问题。
缺点
计算复杂性 ISRU 涉及平方根的计算这可能在计算上相对于一些简单的激活函数如 ReLU而言较为复杂。参数调整 调整参数 α 需要更多的实验和调优以找到最佳参数设置。可解释性 ISRU 不是一个广泛使用的激活函数因此可能需要更多的背景知识来解释其作用和效果。
该激活函数在当前环境下很少使用。。。。
2.2 Inverse Square Root Linear Unit (ISRLU)激活函数
Inverse Square Root Linear UnitISRLU是一种非线性激活函数它是 Rectified Linear UnitReLU的一种扩展。ISRLU 激活函数引入了一个可学习的参数使得在输入为负时激活函数的输出与输入之间存在非线性关系。其数学表达式和数学图像分别如下所示 I S R L U ( x ) { x 1 a x 2 , if x 0 x , if x ≥ 0 ISRLU(x) \begin{cases} \frac{x}{\sqrt{1ax^2}}, \text{if } x 0 \\ x, \text{if } x \geq 0 \\ \end{cases} ISRLU(x){1ax2 x,x,if x0if x≥0 优点
非线性性质 ISRLU 激活函数在输入为负时引入了非线性性质有助于神经网络模型更好地捕捉数据中的复杂模式。平滑性 ISRLU 在输入为负时是平滑的这对于梯度计算和反向传播有益。自适应性 参数 ( α \alpha α) 可以通过训练适应不同的数据分布使 ISRLU 的负半部分适应数据的特性。避免梯度消失 相对于一些激活函数如 Sigmoid 和 TanhISRLU 在输入较大的范围内可以避免梯度消失问题。
缺点
计算复杂性 ISRLU 涉及平方根的计算这可能在计算上相对于一些简单的激活函数如 ReLU而言较为复杂。参数调整 调整参数 ( α \alpha α) 需要更多的实验和调优以找到最佳参数设置。可解释性 ISRLU 不是一个广泛使用的激活函数因此可能需要更多的背景知识来解释其作用和效果。
该激活函数在当前环境下很少使用。。。。但是从其性质上可以感觉到是一个不错的激活函数可能会在某些应用中得到应用。。。。
3. 总结
到此使用 激活函数总结十九 已经介绍完毕了 如果有什么疑问欢迎在评论区提出对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出后续会对其进行添加
如果觉得这篇文章对你有用记得点赞、收藏并分享给你的小伙伴们哦。