企业类网站模版,扬子市建设局网站,营销型网站的评价,深圳品牌网站建设我们理想情况是让神经网络学习更快假设简单模型: 只有一个输入,一个神经元,一个输出简单模型: 输入为1时, 输出为0初始 w 0.6, b 0.9 初始预测的输出 a 0.82, 需要学习学习率: 0.15演示: 初始: w 2.0, b 2.0, 初始预测输出: 0.98, 和理想输出0差点很远演示:神经网络的学…
我们理想情况是让神经网络学习更快假设简单模型: 只有一个输入,一个神经元,一个输出简单模型: 输入为1时, 输出为0初始 w 0.6, b 0.9 初始预测的输出 a 0.82, 需要学习学习率: 0.15演示: 初始: w 2.0, b 2.0, 初始预测输出: 0.98, 和理想输出0差点很远 演示:神经网络的学习行为和人脑差的很多, 开始学习很慢, 后来逐渐增快.为什么?学习慢 偏导数 ∂C/∂w 和 ∂C/∂b 值小计算偏导数:回顾之前学习的Cost函数:对于一个x, y 和单个神经元:分别对w和b求偏导数:x 1, y 0回顾sigmoid函数当神经元输出接近1时, 曲线很平缓, 很小, 所以学习很慢如何增快学习?介绍cross-entropy cost 函数假设一个稍微复杂一些的神经网络定义cross-entropy函数:为什么可以用来做cost函数?1. 函数值大于等于0 (验证)2. 当ay时, cost 0用sigmoid函数定义推出:代入 上面的偏导, 得到:学习的快慢取决于 也就是输出的error好处: 错误大时,更新多,学得快. 错误小时,学习慢对于偏向也类似:用cross-entropy 演示:w 0.6, b 0.9w 2.0, b 2.0与之前的二次cost比较学习率0.005, 但是不是重点, 主要是速度的变化率, 也就是曲线的形状不同. 以上是对于一个单个神经元的cost, 对于多层:以上把输出层所有的神经元的值加起来总结:cross-entropy cost几乎总是比二次cost函数好如果神经元的方程是线性的, 用二次cost函数 (不会有学习慢的问题)
