上国外网站的host,网站系统开发,百度推广怎么做最好,免费手机网站商城来自 机器学习成长之路公众号
本文将常用的损失函数分为了两大类#xff1a;分类和回归。然后又分别对这两类进行了细分和讲解#xff0c;其中回归中包含了一种不太常见的损失函数#xff1a;平均偏差误差#xff0c;可以用来确定模型中存在正偏差还是负偏差。
从学习任务…来自 机器学习成长之路公众号
本文将常用的损失函数分为了两大类分类和回归。然后又分别对这两类进行了细分和讲解其中回归中包含了一种不太常见的损失函数平均偏差误差可以用来确定模型中存在正偏差还是负偏差。
从学习任务的类型出发可以从广义上将损失函数分为两大类——回归损失和分类损失。在分类任务中我们要从类别值有限的数据集中预测输出比如给定一个手写数字图像的大数据集将其分为 09 中的一个。而回归问题处理的则是连续值的预测问题例如给定房屋面积、房间数量以及房间大小预测房屋价格。
回归损失
均方误差/平方损失/L2 损失
数学公式 顾名思义均方误差MSE度量的是预测值和实际观测值间差的平方的均值。它只考虑误差的平均大小不考虑其方向。但由于经过平方与真实值偏离较多的预测值会比偏离较少的预测值受到更为严重的惩罚。再加上 MSE 的数学特性很好这使得计算梯度变得更容易。
平均绝对误差/L1 损失 平均绝对误差MAE度量的是预测值和实际观测值之间绝对差之和的平均值。和 MSE 一样这种度量方法也是在不考虑方向的情况下衡量误差大小。但和 MSE 的不同之处在于MAE 需要像线性规划这样更复杂的工具来计算梯度。此外MAE 对异常值更加稳健因为它不使用平方。
平均偏差误差mean bias error
与其它损失函数相比这个函数在机器学习领域没有那么常见。它与 MAE 相似唯一的区别是这个函数没有用绝对值。用这个函数需要注意的一点是正负误差可以互相抵消。尽管在实际应用中没那么准确但它可以确定模型存在正偏差还是负偏差。 分类损失
Hinge Loss/多分类 SVM 损失
简言之在一定的安全间隔内通常是 1正确类别的分数应高于所有错误类别的分数之和。因此 hinge loss 常用于最大间隔分类maximum-margin classification最常用的是支持向量机。尽管不可微但它是一个凸函数因此可以轻而易举地使用机器学习领域中常用的凸优化器。 交叉熵损失/负对数似然
这是分类问题中最常见的设置。随着预测概率偏离实际标签交叉熵损失会逐渐增加。 注意当实际标签为 1(y(i)1) 时函数的后半部分消失而当实际标签是为 0(y(i0)) 时函数的前半部分消失。简言之我们只是把对真实值类别的实际预测概率的对数相乘。还有重要的一点是交叉熵损失会重重惩罚那些置信度高但是错误的预测值。
