福建住房和城乡建设网站,网站建设用宝塔,四大软件外包公司,网站前端设计图吴恩达《机器学习》学习笔记六——过拟合与正则化一、 过拟合问题1.线性回归过拟合问题2.逻辑回归过拟合问题3.过拟合的解决二、 正则化后的代价函数1.正则化思想2.实际使用的正则化三、 正则化的线性回归1.梯度下降的情况2.正规方程的情况四、 正则化的逻辑回归1.梯度下降的情…
吴恩达《机器学习》学习笔记六——过拟合与正则化一、 过拟合问题1.线性回归过拟合问题2.逻辑回归过拟合问题3.过拟合的解决二、 正则化后的代价函数1.正则化思想2.实际使用的正则化三、 正则化的线性回归1.梯度下降的情况2.正规方程的情况四、 正则化的逻辑回归1.梯度下降的情况2.高级优化算法的情况课程链接https://www.bilibili.com/video/BV164411b7dx?fromsearchseid5329376196520099118
上一个笔记介绍了第二个机器学习算法——逻辑回归主要用于解决分类问题应用非常广泛。这一次我们学习一下过拟合和正则化的概念并将正则化技术运用到已学的线性回归和逻辑回归模型上来减小过拟合的问题。
一、 过拟合问题
在学习正则化的概念之前先看一下过拟合的问题。线性回归和逻辑回归在实际应用时都可能因为假设函数选择的原因或是数据集的原因导致过拟合。
1.线性回归过拟合问题 对于房价预测问题我们之前是使用左边这个图的假设函数去拟合数据可以看出不论怎么优化参数直线也无法很好的拟合所有数据这时就被称为是欠拟合的情况存在高偏差这是因为假设函数过于简单无法拟合较为复杂的数据。
再看中间的图在原来的假设函数上加上了一个平方项优化后的结果则很好的拟合了数据集此时是最佳状态。
最后看右边的图假设函数包含了一些较高次幂的项使得假设函数过于复杂虽然能拟合已有的所有数据但是很显然这个曲线有波动房子的面积越大甚至价格出现了越低的情况这显然是不对的而且若此时添加进来一些新的数据很可能就不能很好的拟合这样的问题被称为过拟合存在高方差假设函数过于复杂过度学习了已有数据的特征它的定义如下所示 这里可能涉及到训练误差和泛化误差的概念训练误差是指训练数据集在假设函数上产生的误差泛化误差是指模型训练好之后给定新的数据在假设函数上产生的误差用以估计模型应用到到新样本的能力。那么欠拟合的情况训练和泛化误差都高而过拟合的情况训练误差很低泛化误差则很高。
2.逻辑回归过拟合问题
参考线性回归的例子下面逻辑回归的三种情况分别为欠拟合、拟合良好和过拟合的情况。
3.过拟合的解决
产生过拟合的原因较多其中很常见的一个是数据样本的数量比特征的数量还要少。所以有如下两种常见的解决过拟合的办法 一个是在数据集有限的情况下减少特征的数量来减少过拟合问题可以人工手动选择减少哪些特征也可以使用一些算法来衡量减少哪些特征。这种方法的缺点就是需要丢弃一些特征这就有可能丢弃了一些信息。
二是如果不希望丢弃信息或者是不知道如何选择特征想保留所有特征时可以使用正则化方法正则化方法利用正则化项来减小相关参数的大小减轻它对预测的贡献相应的就减轻了过拟合问题。
二、 正则化后的代价函数
1.正则化思想
首先来看一个线性回归的例子 左边是良好拟合右边是过拟合。要解决过拟合的问题我们希望θ_3,θ_4两个参数非常小当它们很小的时候对预测结果的贡献就非常小甚至可以忽略从而解决过拟合问题。所以我们在原来的代价函数上进行了修改变成如下所示 因为这是一个最小化的式子加上有关θ_3,θ_4的两项因为其系数较大所以这两个参数在最小化表达式的过程中必须变得较小才能使得总体很小所以这样可以达到使得θ_3,θ_4很小接近于0的目的从而减轻过拟合。那么这两项就可以被称为正则化项。
还是使用原来过拟合的假设函数当代价函数加上正则化项之后优化结果就会从下面的蓝色曲线变成紫红色曲线从而与良好拟合的情况接近算是达到了解决过拟合的问题 正则化思想可以简单归结如下使参数值非常小从而几乎消除它的贡献使得假设函数更简单这样就更不可能过拟合。
2.实际使用的正则化
但是在大多数问题中你不能像刚刚那样看出哪些参数应该被惩罚哪些应该保留尤其是参数量非常多的时候如下所示 所以索性将所有的参数都减小这样使得所有的参数都不会很大也就使得假设函数不会过于复杂达到解决过拟合的效果。
而在实际应用中也基本都是使用将所有参数都加到代价函数中去的方法如下所示使用前后的变化就是蓝色曲线变成了紫红色曲线 其中的λ被称为正则化系数它是平衡假设函数的关键。如果它被设置的太大的话如下所示 会使得所有的参数都接近于0那么假设函数接近于是一个常数函数过于简单变成了欠拟合的情况。所以为了正则化的效果需要合理地选择正则化参数的大小过大会使得模型过于简单过小又达不到解决过拟合的要求。
三、 正则化的线性回归
根据上面对正则化的介绍线性回归加上正则化之后的代价函数如下所示
1.梯度下降的情况
相应的它对应的梯度下降表达式如下图所示 因为正则化的惩罚项中不包含θ_0所以它的更新与原来不加正则化时一样。
2.正规方程的情况
正规方程的方法是将代价函数的导数设置为0从而求出的表达式也就将变成如下所示
四、 正则化的逻辑回归
逻辑回归加上正则化之后的代价函数如下图所示
1.梯度下降的情况
对代价函数求导后更新参数发现形式与线性回归几乎一模一样但是需要注意的是假设函数h(x)的表达式是完全不同的所以和线性回归的梯度下降表达式内容也是完全不同的。
2.高级优化算法的情况
略
