当前位置: 首页 > news >正文

在线课程网站开发的研究意义邯郸网站推广怎么做

在线课程网站开发的研究意义,邯郸网站推广怎么做,湖南专业关键词优化,推广公司有哪些公司激活函数总结#xff08;十九#xff09;#xff1a;激活函数补充 1 引言2 激活函数2.1 Inverse Square Root Unit #xff08;ISRU#xff09;激活函数2.2 Inverse Square Root Linear Unit (ISRLU)激活函数 3. 总结 1 引言 在前面的文章中已经介绍了介绍了一系列激活函… 激活函数总结十九激活函数补充 1 引言2 激活函数2.1 Inverse Square Root Unit ISRU激活函数2.2 Inverse Square Root Linear Unit (ISRLU)激活函数 3. 总结 1 引言 在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU、SReLU、BReLU、PELU、Phish、RBF、SQ-RBF)。在这篇文章中会接着上文提到的众多激活函数继续进行介绍给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图 2 激活函数 2.1 Inverse Square Root Unit ISRU激活函数 Inverse Square Root UnitISRU是一种非线性激活函数它在神经网络中用于引入非线性变换。其数学表达式和数学图像分别如下所示 I S R U ( x ) x 1 a x 2 ISRU(x) \frac{x}{\sqrt{1ax^2}} ISRU(x)1ax2 ​x​ 优点 非线性性质 ISRU 激活函数引入了非线性性质有助于神经网络模型捕捉数据中的复杂模式。平滑性 ISRU 在输入值的范围内具有连续和平滑的性质这对于梯度计算和反向传播有益。参数调整 通过调整参数 α您可以自由地控制激活函数的形状使其适应不同的数据分布和任务需求。避免梯度消失 相对于一些激活函数如 Sigmoid 和 TanhISRU 在输入较大的范围内可以避免梯度消失问题。 缺点 计算复杂性 ISRU 涉及平方根的计算这可能在计算上相对于一些简单的激活函数如 ReLU而言较为复杂。参数调整 调整参数 α 需要更多的实验和调优以找到最佳参数设置。可解释性 ISRU 不是一个广泛使用的激活函数因此可能需要更多的背景知识来解释其作用和效果。 该激活函数在当前环境下很少使用。。。。 2.2 Inverse Square Root Linear Unit (ISRLU)激活函数 Inverse Square Root Linear UnitISRLU是一种非线性激活函数它是 Rectified Linear UnitReLU的一种扩展。ISRLU 激活函数引入了一个可学习的参数使得在输入为负时激活函数的输出与输入之间存在非线性关系。其数学表达式和数学图像分别如下所示 I S R L U ( x ) { x 1 a x 2 , if  x 0 x , if  x ≥ 0 ISRLU(x) \begin{cases} \frac{x}{\sqrt{1ax^2}}, \text{if } x 0 \\ x, \text{if } x \geq 0 \\ \end{cases} ISRLU(x){1ax2 ​x​,x,​if x0if x≥0​ 优点 非线性性质 ISRLU 激活函数在输入为负时引入了非线性性质有助于神经网络模型更好地捕捉数据中的复杂模式。平滑性 ISRLU 在输入为负时是平滑的这对于梯度计算和反向传播有益。自适应性 参数 ( α \alpha α) 可以通过训练适应不同的数据分布使 ISRLU 的负半部分适应数据的特性。避免梯度消失 相对于一些激活函数如 Sigmoid 和 TanhISRLU 在输入较大的范围内可以避免梯度消失问题。 缺点 计算复杂性 ISRLU 涉及平方根的计算这可能在计算上相对于一些简单的激活函数如 ReLU而言较为复杂。参数调整 调整参数 ( α \alpha α) 需要更多的实验和调优以找到最佳参数设置。可解释性 ISRLU 不是一个广泛使用的激活函数因此可能需要更多的背景知识来解释其作用和效果。 该激活函数在当前环境下很少使用。。。。但是从其性质上可以感觉到是一个不错的激活函数可能会在某些应用中得到应用。。。。 3. 总结 到此使用 激活函数总结十九 已经介绍完毕了 如果有什么疑问欢迎在评论区提出对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数也可以在评论区提出后续会对其进行添加 如果觉得这篇文章对你有用记得点赞、收藏并分享给你的小伙伴们哦。
http://wiki.neutronadmin.com/news/98088/

相关文章:

  • 潍坊住房与城市建设部网站网站seo快速优化技巧
  • 网站设置gif禁用建设网站企业网银登录
  • 佛山外贸网站制作公司建网站的公司不肯签合同
  • 内部链接网站大全长沙企业网站seo
  • 做企业网站首页尺寸好玩网页游戏大全
  • 专门做灯具海报的网站营销型网站案例展示
  • 无锡公司做网站松原做网站公司
  • 织梦通用seo网站模板计算机网络技术网站开发与设计
  • 百度权重排名高的网站现在允许做网站吗
  • 泊头网站制作西安网站设计建设公司
  • 网站推广怎么优化wordpress和蝉知
  • 个人网站做什么内容好广州新公司注册流程及费用
  • 广州做网站的公做网站dreamwa
  • 制作很好的网站邢台网警
  • 吴江建设银行网站我要在58上面做网站
  • wordpress程序建站百度一级代理商
  • 网站建设设计官网上海家装设计网站
  • 网站开发技术岗位职责app开发定制外包22
  • 数据库在网站建设中的作用手机网站制作流程
  • 网站建设主要内容长沙建站
  • 物流网站建设规划总结西部数码网站管理助手卸载
  • 如何安装织梦做的网站有心学做网站
  • 网站建设制作心得团队网络营销推广外包平台
  • 宝塔做两个网站6西安的网站设计与制作首页
  • 网站建设需要注意的事情电商有什么平台
  • 如何看网站有没有收录单页面网站设计网站欣赏
  • 做网站需要学js吗土特产网站模板
  • 桂林网站制作培训班cad图做网站链接
  • 北京网站开发教师招聘考试报名费悦生活建设银行网站
  • 怎样为公司做网站网站开发 后端返回前端一个地址 有什么用