互联网招聘网站排行,营销网站建设服务,温州网站建设平台,WordPress数据库备份还原这一部分内容和吴恩达老师的CS229前面的部分基本一致#xff0c;不过那是很久之前看的了#xff0c;我尽可能写的像吴恩达老师那样思路缜密。 1.假设 之前我们了解过最大似然估计就是最大化似然函数$$L(\theta) \sum log(p(x_{i}|\theta))$$ 来确定参数\(\theta\)#xff0…这一部分内容和吴恩达老师的CS229前面的部分基本一致不过那是很久之前看的了我尽可能写的像吴恩达老师那样思路缜密。 1.假设 之前我们了解过最大似然估计就是最大化似然函数$$L(\theta) \sum log(p(x_{i}|\theta))$$ 来确定参数\(\theta\)假设我们独立测量的结果X(x1,x2,x3...)是有误差的且每个测量结果的误差分布相同即独立同分布。我们再假定测量结果满足以真实结果\(f(x|\theta)\)为均值方差为\(\sigma\),标准差为\(\delta\)的高斯分布注意这里的\(\theta\)指最优的参数解但它是未知的。 2.推导 在给出一定假设后我们根据最大似然估计的方法来进行推到。首先我们假定测量结果的分布函数后可以得到以\(\theta\)为参数时预测结果等于测量结果的概率 $$p(xxi|\theta) \frac{1}{\sqrt{2\pi}\delta} e^{-\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}}$$ 进而对数似然函数变为 $$L(\theta) \frac{1}{\sqrt{2\pi}\delta}\sum -\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$ 我们最大化似然函数等同于最大化求和部分 $$\widehat(L)(\theta) \sum -\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$ 我们要求的\(\theta\)有 $$\theta argmax \sum -\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$ 等同于 $$\theta argmin \sum \frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$ 进一步化简有 $$\theta argmin \sum (xi-f(x|\theta))^{2}$$ 3.分析 通过上面推导我们发现在假定测量误差满足独立同分布时最大似然估计和最小二乘法有一定的相通性但这并不表明二者是相同的最大似然估计是要满足预测结果和测量结果一致的概率最大而最小二乘法估计要满足预测结果和测量结果尽可能接近二范式距离的平方最小二者的测度和出发点不一样但又有联系。转载于:https://www.cnblogs.com/SshunWang/p/11166569.html
