韩路做的网站是什么名字,网站制作首选 新鸿儒,怎么把自己的网站放到百度上,网站备案负责人高维映射跟核方法的概念很容易混淆。高维映射通过将样本从原始空间映射到一个更高维的特征空间#xff0c;从而解决了低纬下难以解决的问题。核方法往往跟高维映射配合使用#xff0c;可以看做是一种技巧#xff0c;可以通过它来避免这种映射的计算。下面详细介绍一下这两个…高维映射跟核方法的概念很容易混淆。高维映射通过将样本从原始空间映射到一个更高维的特征空间从而解决了低纬下难以解决的问题。核方法往往跟高维映射配合使用可以看做是一种技巧可以通过它来避免这种映射的计算。下面详细介绍一下这两个概念。一、高维映射我们知道线性回归是用一条直线来拟合数据。但是我们往往会遇到数据并不服从线性分布的情况比如上图这种情况明显是一个二次函数的分布。如果我们仍旧用线性回归方程 那结果是拟合了一条直线这条直线无论如何也不能完美拟合出这样的二次函数的分布。于是我们选择变成一个二次方程来拟合它虽然是个二次函数其实仍然可以看成是一个线性回归。但是现在不是对 的线性回归而是对于一个更高维度的向量 的线性回归令 假如把 输入 看成是一个 1 维的向量那么 其实就是一个关于 的更高维度的向量。我们把这种能够把一个向量提升维度的函数叫做 。直观上来讲在应用了 以后向量 被拉长了所以我们把它叫做拉伸函数好了。拉伸函数是一类函数表面上看只要是能把一个向量经过各种修改让它的维度变高这样的函数都能当成拉伸函数来用。然而并不是这样的假如你只是单纯地对向量 的分量做线性组合你会发现实际上并没有提升它的空间比如我设计一种纯线性组合的拉伸的函数将 拉伸为 那么 那么对于提升后的方程 乍一看是把2维提升到了4维。其实通过变换以后相当于还是在对 做线性组合。要选择确确实实提升了维度的拉伸函数。而且我们的拉伸函数得把原来向量的每个维度都得照顾到。这里分布是一个二次函数如果我们遇到了更加复杂的函数我们依然可以通过选取合适的拉伸函数来变成线性的问题。幸运的是可以证明只要数据的分布在维度有限的空间上我们总是发能够找到一个更高维度的空间使得它的分布是线性的。因此通过高维映射以后不管原来是不是线性的总能通过对向量 做拉伸变化转化成一个高维空间里的线性的回归问题二、求解高维映射后的线性方程如果不做高维映射的话线性回归的解是不明白的可以看看我另外一篇的讲线性回归的里面包含了推导过程。折射线性回归Linear regressionzhuanlan.zhihu.com我举个例子帮助你回忆一下里面各个符号的含义。假设我们有5个训练样本 每个样本的有2个维度 公式中的 就是把所有训练集拼成的矩阵每行代表一个训练样本。 是一个对角全为 1 其他位置全是0的单位矩阵 是每个样本输出值拼成的一个向量如果我们要对这个公式进行高维映射也就是说我们对 里的每个样本也就是每一行的向量都进行了拉伸变换像这样我们把拉伸过后的函数叫做 :我们用 替换公式里的 从而得到好了右边全都是已知量我们已经解出来了这个模型了。我们做完高维映射之后的线性方程要如何去预测模型呢来模拟一下这个过程假设我们现在有 个训练数据每个数据是 维的。第一步我们得计算出 来。首先把每个数据当成一行拼成一个矩阵 。然后把矩阵的每一行用拉伸函数做拉伸从而得到 最后再套公式求得 第二步下面我们就来利用它做预测了假如我们要预测 的输出值 我们又得先对变量 做一次拉伸得到 再乘上权重才能求出它的预测值 看看上面的过程中我们用了多少次拉伸函数。在训练过程中我们对训练集里面每个样本都用了一次拉伸。在预测的时候我们又要对预测集里面的每个样本做一次拉伸。现在我告诉你拉伸函数往往计算量非常大那么计算这个拉伸显然是一个非常大的开销。虽然说理论上因为有限维度的数据必然存在一个拉伸函数将数据映射到高维并且满足线性分布。也就是说必然存在一个完美的拉伸函数。然而我们往往并不知道到底怎么样的函数才是完美的拉伸函数选择合适的拉伸函数也是一个非常麻烦的问题。现在我告诉你我们有一种取巧的办法。使得我们根本不用计算拉伸函数有时候甚至你都不需要知道拉伸函数是什么我们依然能够做预测。这个无比巧妙的简便方法帮助我们跳过了拉伸的步骤这个方法就叫做核方法。三、核函数Kernel function你可能非常迫切地想知道这个巧妙的核方法到底是什么。但是我要在这里卖个关子不直接告诉你核方法是怎么来的我们从定义出发一步一步慢慢推导出来。现在我要转换一下话题我们先研究研究这个拉伸函数 。我们给它搭配一个“兄弟”假设向量 是某个跟 同样维度的某个向量我们对 也同样做拉伸。并且拉伸完之后我们把这两个向量求内积。我们知道两个向量做内积得到的是一个值。这个过程中我们先是把两个向量拉伸到高维然后又通过求内积变回一维。在数学里面有这样一类函数它的参数是2个向量它的输出是一个标量值。它有个特点就是对于任何相同形状的输入向量 它总能改写成这样的形式解释一下这类函数对于任何输入向量 它都能改写成分别对两个输入向量做拉伸以后再求内积的表达形式。这类核函数每个都有各自的表达式举个例子线性核多项式核注意到这个表达式里面是不含有拉伸函数的。但是它既然满足核函数的条件它一定是能改写成两个向量拉伸求内积的形式。线性核里面隐藏的变换就是做线性拉伸变换我们之前讨论过光用线性拉伸是不能解决非线性问题的。多项式核自然就是做几次方的拉伸变换。换句话说每一个能被叫做核函数的函数里面都藏着一个对应拉伸的函数。这些核函数的命名通常也跟如何做拉伸变换有关系。总结一下我们现在反了过来先找满足核函数条件的的表达式再倒推出一种映射关系。我们选哪个核函数实际上就是在选择用哪种方法映射。通过核函数我们就能跳过映射的过程。四、核方法Kernel method好了现在我们打定主意要利用核函数来跳过做映射了。我们假如找到了一个核函数也就是说我们的拉伸函数也定下来了。我们改写一下核函数的参数写成这样的形式到底要怎么利用呢先观察一下高维映射以后的模型表达式观察一下上面两个公式你一定能够联想到肯定要从这个 上面做点文章。没错我们现在就是要想办法从 里面分离出一个 项来跟我们的 搭配在一起组成我们的核函数的表达式。先看看 的计算公式在这里跟拉伸项最有关系的一项就是 了注意这里全都是在做线性组合我们我们可以令 这里的 我们不知道是什么东西只知道它是一个向量。使用 有什么好处呢试着把它展开一下矩阵乘向量的怎么写成求和的形式呢。其实矩阵右乘一个向量相当于对矩阵的每一列都乘对于向量位置的分量再累加如图所示 矩阵 是转置过的它的每一列代表一个训练数据为了避免混淆我们用 表示第n个训练数据可以表示为用右边这个替换我们模型里面的 看到没有我们右边已经出现了一个核函数的表达形式了。我们可以直接根据公式 来替换右边从而得到现在的y表达式中已经不含有拉伸函数项了这样我们就避开了求拉伸函数的过程。但是你会发现我们并不知道 是什么现在我们就来求这个 。我们得从求 的表达式开始了假设我们用最小二乘法做首先从损失函数开始同时加入了L2正则项如果加了L2正则以后的线性损失函数的公式看不懂可以去看我写的 机器学习中的正则化L1 L2正则。 令 将 代入到函数中求关于 的偏导并且等于0可得解得再看现在我们把所有的拉伸函数都消除掉了。我们现在就可以用求出来的 来做预测使用之前我们推出来的公式五、总结在使用机器学习模型做回归或者分类的时候假如在低维度空间下数据集不好用那么可以尝试通过把输入的值做高维映射来解决。高维映射不仅仅用于线性回归包括逻辑回归还有SVM尤其是SVM。由于做高维映射的计算量比较大。当我们遇到需要做高维映射的时候 可以通过核方法把需要学习的模型配出一项来组成 的形式然后用一个核函数 来替换它从而消除掉把低维向量往高维映射的过程。这种替换的技巧就叫做核方法能够实现替换目的的函数叫做核函数。利用核方法并非没有缺点。原来的线性模型显然是一种参数化方法好处是训练完成的模型只需要存储权重向量 。然而在使用了核方法以后由于我们用训练集替换掉了权重项因此相当于转化成了非参数化的方法显然增加了需要存储的数据量同时每一次做预测都需要用到全部训练数据集。对于参数化和非参数化方法的概念可以看我的另外一篇文章折射机器学习中的正则化L1 L2正则zhuanlan.zhihu.com原创转载请注明出处。初学者不可避免出现错误。如果有任何问题欢迎指正。也欢迎一起交流、讨论。欢迎关注我的专栏https://zhuanlan.zhihu.com/c_1024970634371186688zhuanlan.zhihu.com
