网站正在建设中手机版,做网站如何让用户注册,专业网页设计价格,长春软件开发转载自 形象的解释神经网络激活函数的作用是什么
神经网络中激活函数的作用
查阅资料和学习#xff0c;大家对神经网络中激活函数的作用主要集中下面这个观点#xff1a;
激活函数是用来加入非线性因素的#xff0c;解决性模型所不能解决的问题。
下面我分别从这个方面…转载自 形象的解释神经网络激活函数的作用是什么
神经网络中激活函数的作用
查阅资料和学习大家对神经网络中激活函数的作用主要集中下面这个观点
激活函数是用来加入非线性因素的解决性模型所不能解决的问题。
下面我分别从这个方面通过例子给出自己的理解~
lee philip颜沁睿俩位的回答已经非常好了我举的例子也是来源于他们在这里加入了自己的思考更加详细的说了一下~
开讲~
首先我们有这个需求就是二分类问题如我要将下面的三角形和圆形点进行正确的分类如下图 利用我们单层的感知机, 用它可以划出一条线, 把三角形和圆形样本分割开 上图直线是由 得到那么该感知器实现预测的功能步骤如下就是我已经训练好了一个感知器模型后面对于要预测的样本点带入模型中如果y0,那么就说明是直线的右侧也就是正类我们这里是三角形如果y0,那么就说明是直线的左侧也就是负类我们这里是圆形虽然这和我们的题目关系不大但是还是提一下~ 好吧很容易能够看出我给出的样本点根本不是线性可分的一个感知器无论得到的直线怎么动都不可能完全正确的将三角形与圆形区分出来那么我们很容易想到用多个感知器来进行组合以便获得更大的分类问题好的下面我们上图看是否可行 好的我们已经得到了多感知器分类器了那么它的分类能力是否强大到能将非线性数据点正确分类开呢~我们来分析一下
我们能够得到 哎呀呀不得了这个式子看起来非常复杂估计应该可以处理我上面的情况了吧哈哈哈哈~不一定额我们来给它变个形.上面公式合并同类项后等价于下面公式 啧啧估计大家都看出了不管它怎么组合最多就是线性方程的组合最后得到的分类器本质还是一个线性方程该处理不了的非线性问题它还是处理不了。 就好像下图直线无论在平面上如果旋转都不可能完全正确的分开三角形和圆形点 既然是非线性问题总有线性方程不能正确分类的地方~
那么抛开神经网络中神经元需不需要激活函数这点不说如果没有激活函数仅仅是线性函数的组合解决的问题太有限了碰到非线性问题就束手无策了.那么加入激活函数是否可能能够解决呢
在上面线性方程的组合过程中我们其实类似在做三条直线的组合如下图 下面我们来讲一下激活函数我们都知道每一层叠加完了之后我们需要加入一个激活函数激活函数的种类也很多如sigmod等等~这里就给出sigmod例子如下图 通过这个激活函数映射之后输出很明显就是一个非线性函数能不能解决一开始的非线性分类问题不清楚但是至少说明有可能啊上面不加入激活函数神经网络压根就不可能解决这个问题~
同理扩展到多个神经元组合的情况时候表达能力就会更强~对应的组合图如下现在已经升级为三个非线性感知器在组合了 跟上面线性组合相对应的非线性组合如下 这看起来厉害多了是不是~最后再通过最优化损失函数的做法我们能够学习到不断学习靠近能够正确分类三角形和圆形点的曲线到底会学到什么曲线不知道到底具体的样子也许是下面这个~
