网站建设需要那些人才,网站建设费用初步预算,分割页面,广东官网网站建设怎么样机器学习中的泛化#xff0c;泛化即是#xff0c;模型学习到的概念在它处于学习的过程中时模型没有遇见过的样本时候的表现。在机器学习领域中#xff0c;当我们讨论一个机器学习模型学习和泛化的好坏时#xff0c;我们通常使用术语#xff1a;过拟合和欠拟合。我们知道模…机器学习中的泛化泛化即是模型学习到的概念在它处于学习的过程中时模型没有遇见过的样本时候的表现。在机器学习领域中当我们讨论一个机器学习模型学习和泛化的好坏时我们通常使用术语过拟合和欠拟合。我们知道模型训练和测试的时候有两套数据训练集和测试集。在对训练数据进行拟合时需要照顾到每个点而其中有一些噪点当某个模型过度的学习训练数据中的细节和噪音以至于模型在新的数据上表现很差这样的话模型容易复杂拟合程度较高造成过拟合。而相反如果值描绘了一部分数据那么模型复杂度过于简单欠拟合指的是模型在训练和预测时表现都不好的情况称为欠拟合。
我们来看一下线性回归中拟合的几种情况图示$$\theta_0\theta_1{x}$$$$\theta{0}\theta{1}{x}\theta_{2}x^{2}$$$$\theta{0}\theta{1}{x}\theta{2}x^{2}\theta{3}x^{3}\theta_{4}x^{4}$$
还有在逻辑回归分类中的拟合情况解决过拟合的方法
在线性回归中对于特征集过小的情况容易造成欠拟合underfitting对于特征集过大的情况容易造成过拟合overfitting。针对这两种情况有了更好的解决办法
欠拟合
欠拟合指的是模型在训练和预测时表现都不好的情况欠拟合通常不被讨论因为给定一个评估模型表现的指标的情况下欠拟合很容易被发现。矫正方法是继续学习并且试着更换机器学习算法。
过拟合
对于过拟合特征集合数目过多我们需要做的是尽量不让回归系数数量变多对拟合损失函数加以限制。
1当然解决过拟合的问题可以减少特征数显然这只是权宜之计因为特征意味着信息放弃特征也就等同于丢弃信息要知道特征的获取往往也是艰苦卓绝的。
2引入了 正则化 概念。
直观上来看如果我们想要解决上面回归中的过拟合问题我们最好就要消除$$x_3$$和$$x_4$$的影响也就是想让$$\theta_3{,}\theta_4$$都等于0一个简单的方法就是我们对$$\theta_3{,}\theta_4$$进行惩罚增加一个很大的系数这样在优化的过程中就会使这两个参数为零。
