做移动网站优化,网站开发的套路,那个网站做系统好,汽车网站模版2 概述 文章目录2 概述2.1 模型概述2.1.1 预测房价问题2.1.2 符号2.2 代价函数2.3 代价函数的用处2.4 回到问题2.5 梯度下降2.6 梯度下降知识点总结2.7 线性回归模型的梯度下降2.1 模型概述
2.1.1 预测房价问题
在我们要开始下面的问题前#xff0c;我们先来看一些关于房价预…2 概述 文章目录2 概述2.1 模型概述2.1.1 预测房价问题2.1.2 符号2.2 代价函数2.3 代价函数的用处2.4 回到问题2.5 梯度下降2.6 梯度下降知识点总结2.7 线性回归模型的梯度下降2.1 模型概述
2.1.1 预测房价问题
在我们要开始下面的问题前我们先来看一些关于房价预测的例子。 假设我们有一个朋友它想要卖掉房子而房子的大小是1250平方英尺你想要告诉它们你的房子能够卖多少钱。那你说出这句话的依据请问是什么是猜测吗显然不是。我们通过某个确定的模型根据所拥有的数据集来确定一个具体的函数然后根据这个函数输入房子的大小然后输出房子卖出大概的估价这也是你对朋友说这话的底气。
上面的问题实际上是一个有监督学习因为它有确定的模型来给我们算出对应的函数而它实际上又是一个回归问题这是因为根据算出来的函数我们可以通过连续地输入特征值来获取自己想要的预测值。
还是上面的例子我们说了我们是通过已有的数据集来训练模型使其变为确定的函数那么这部分拿来训练模型的数据集我们称之为训练集。 2.1.2 符号
在机器学习中我们会用到许许多多的符号我们在这里先挑出几个比较常见的符号。
我们一般习惯用m来表示训练集的数目。用xnx_nxn来表示某一个样本的某一个特征而用y来表示样本对应的输出用y^\hat yy^来代表我们在训练好的模型上通过输入获得相应的预测值。
由于训练集中有多个样本所以我们一般用(xi,yi)(x^{i},y^{i})(xi,yi)来表示第i个样本的特征和第i个样本对应的输出。
在这一讲下面的学习中我们会用到最简单的模型来开始我们的机器学习之路即线性回归模型。 2.2 代价函数
在这一小节中我们来试着定义代价函数这一名词。代价函数也叫损失函数你懂得这是因为中文的多义性它英文名实际上为loss function。
我们依旧使用2.1用过的例子来讲述我们接下来要探讨的问题假如我们有m为47的样本数我们采用的模型是线性模型其中θ1θ_1θ1如同我们初中第一次学习一次函数中的k而θ0θ_0θ0为b。但是我们后面不会用到k和b了你要记住这是机器学习符号的改变并不会影响最基本的思路。 在这个假定的模型中我们要求的是一个具体的函数即我们要求出θ0和θ1θ_0和θ_1θ0和θ1的值。因为x是特征y是预测对吧
但是这个θ0和θ1θ_0和θ_1θ0和θ1并没有你想象的那么好选择试想如果你的θ0和θ1θ_0和θ_1θ0和θ1选出来不能很好地去预测新的输入那不就废了吗。而这个衡量能不能很好预测的标准就是我们根据训练集训练出来的函数模型预测出来的结果和真实结果偏差应该尽可能的小。即y和y^y和 \hat yy和y^之间的误差应该尽可能地小。
我们需要讨论一个问题这个y和y^y和\hat yy和y^之间的误差用什么来衡量呢y−y^y-\hat yy−y^吗显然不是因为它们的差值有可能出现负数这对我们后续的计算可能造成干扰。实际上误差有多种衡量方式由于考虑到我们刚刚入门所以我们采用最简单的平方误差来进行误差上的衡量。平方误差的表现形式是(y^−y)2(\hat y - y)^2(y^−y)2而我们有多个样本所以需要对误差求总和然后计算平均误差即1m(y^−y)2\frac {1}{m}(\hat y - y)^2m1(y^−y)2。
求最小值怎么求在高中数学学习的过程中我们可以总结出几种求最值的方法
二次函数公式基本不等式求导…
在这里我们选择求导比较方便而为了便于求导我们将上面的公式改写为12m(y^−y)2\frac {1}{2m}(\hat y - y)^22m1(y^−y)2所以为了找出符合我们心中所想的那个函数我们必须对这个损失函数J(θ0,θ1)12m(y^−y)2J(θ_0,θ_1) \frac {1}{2m}(\hat y - y)^2J(θ0,θ1)2m1(y^−y)2进行最小化。 2.3 代价函数的用处
在上一小节中我们提到了代价函数的数学形式在这一小节中我们会详细提到代价函数是用来做什么呢。
由于前面我们给定的模型是hθ(x)θ0θ1xh_θ(x) θ_0θ_1xhθ(x)θ0θ1x参数太多对新手不是很友好所以我们把这个函数模型再简化一下变成hθ(x)θ1xh_θ(x) θ_1xhθ(x)θ1x。那么这个损失函数J就变为J(θ1)12m(y^−y)2J(θ_1) \frac {1}{2m}(\hat y - y)^2J(θ1)2m1(y^−y)2。
当我们θ1θ_1θ1取0.5时两个函数的图像如下图所示 也就是说通过不同的θ1θ_1θ1的取值如果其J(θ1)J(θ_1)J(θ1)的值越小那么说明其画出来的函数直线更够更好的拟合所有的数据集。
J(θ1)J(θ_1)J(θ1)什么时候最小我们可以根据求导来获取它的极小值。而为什么说是极小值而不是最小值这是因为该问题的损失函数刚好是一个凸函数在下一小节中我们会遇到一个非凸函数。 2.4 回到问题
让我们回到原来那条损失函数在上一小节中我们对损失函数做了一个简化在这一小节中我们要讨论那个没有被简化的损失函数。 我们初始化θ0和θ1θ_0和θ_1θ0和θ1。我们可以设定θ050,θ10.06θ_0 50,θ_1 0.06θ050,θ10.06那么可以得到我们第一条直线而在损失函数中由于上一小节我们使用的是简化版的损失函数这也就导致了当时是一个二维的情形现在引入两个参数那么这个问题就会上升到三维 我们的任务就是找出这个长得像碗的函数的最低点然后得到它的(θ0,θ1)(θ_0,θ_1)(θ0,θ1)坐标然后带回线性回归函数模型中得到具体的函数所得的函数即为对训练集拟合最好的函数。 2.5 梯度下降
我们前面定义的代价函数J但是我们没说怎么让代价降低。我知道你现在肯定有些问题想要知道以为自己学漏了什么别担心下面我就会告诉你学漏了什么。
我们接下来要一种算法它可以让我们的参数缓慢的接近代价函数图像的极小值点。这种算法不仅被用在线性回归上还被广泛用于机器学习的各种领域。
梯度下降我们可以分为以下的几个步骤
我们要做的第一件事就是先给定θ0和θ1θ_0和θ_1θ0和θ1的初始值。当然通常我们初始值为(0,0)。
第二件事就是我们会通过梯度下降算法不停地一点点改变θ0和θ1θ_0和θ_1θ0和θ1。使得J(θ0,θ1)J(θ_0,θ_1)J(θ0,θ1)变小直到我们找到J的最小值。
让我们来看看在图像上梯度下降的工作原理吧。如下是一个非凸损失函数这样的话我们实际上不知道哪个是最小值只能知道极小值。 我们要做的就是站在我们初始化的点所在的位置然后朝四周看我们应该走那个方向可以下山然后朝那个方向迈出既定的一步然后停下看往四周重复上述的步骤直到到达一个自己认为是最低点的位置。 我们来看一下梯度下降算法的数学表示形式吧实际上梯度下降的公式是KaTeX parse error: Undefined control sequence: \part at position 26: …- \alpha \frac{\̲p̲a̲r̲t̲}{\part θ_j} J(…我们可以这么理解这个公式当我们发现损失就往减少损失的方向走去不断更新自身的位置直到满意为止而减少损失的方向在数学上我们叫做梯度也许这个名词我换个说法更合适它实际上就是微积分中的偏导偏导的前面有一个α\alphaα符号其代表我们应该往损失的方向迈一个多大的步子我们把这个参数叫做学习率。 2.6 梯度下降知识点总结
让我们对上一小节学过的知识进行一个总结吧。上一小节中我们学到了梯度下降公式其中α\alphaα称为学习率其控制我们以多大的幅度去更新这个参数θj\theta_jθj。而α\alphaα后面的那一串我们叫做梯度偏导。
实际上对于学习率来说其控制非常难。我们无法确定好一个合适的学习率。如果学习率过大可能导致步子过大而错过损失函数的最低点而如果学习率过小可能导致步子过小而迭代速度缓慢。所以一般来说根据前人的经验我们可以选几个特定的值。也可以用自适应学习率算法(AdaGrad)动态地在迭代过程中不断更新学习率。 2.7 线性回归模型的梯度下降
我们上面学过的几个函数和算法如下所示 我们使用梯度下降来处理损失函数时时常会陷入局部最优。而对于线性回归的损失函数来说其损失函数往往是一个凸函数不会有这类担忧。
如果学过线性代数的同学可能知道一种解法其可以直接解出损失函数的最低点而不是像梯度下降一般一步一步迭代直至最低点在后面我们也会详细介绍这种方法叫正规方程请不必担心。
