网站整体运营思路,文化建设的具体措施,在网站后台管理系统里产品说明怎么添加图片,seo优化人员文章目录 前言具体内容 前言
总算要对稍微有点难度的地方动手了#xff0c;前面介绍的线性可分或者线性不可分的情况#xff0c;都是使用平面作为分割面的#xff0c;现在我们采用另一种分割面的设计方法#xff0c;也就是核方法。 核方法涉及的分割面不再是 w x b 0 wx… 文章目录 前言具体内容 前言
总算要对稍微有点难度的地方动手了前面介绍的线性可分或者线性不可分的情况都是使用平面作为分割面的现在我们采用另一种分割面的设计方法也就是核方法。 核方法涉及的分割面不再是 w x b 0 wxb0 wxb0而是 f ( x ) 0 f(x)0 f(x)0了。
具体内容 核方法其实就是坐标映射方法类似于我们进行回归的时候对于反函数曲线采用 y w x b y\frac{w}{x}b yxwb的形式来对数据进行拟合。 我们常用的标准做法都是先将原始数据 x x x映射为 1 x \frac{1}{x} x1然后对于数据 ( 1 x , y ) (\frac{1}{x},y) (x1,y)寻找线性函数 y k t b yktb yktb来拟合。 在非线性支持向量机中我们需要把原始特征x通过映射函数变换为 ϕ ( x ) \phi(x) ϕ(x)对于这个映射函数没有什么要求只不过什么样的映射函数映射以后分类效果最佳是未知的是需要通过比较才能发现的。 映射函数一般都是把原始特征 x x x变为另一个向量 [ 1 , x 1 , ⋯ , x n , x 1 2 , ⋯ , x i x j , ⋯ , x n 2 , ⋯ ] [1,x_1,\cdots,x_n,x_1^2,\cdots,x_ix_j,\cdots,x_n^2,\cdots] [1,x1,⋯,xn,x12,⋯,xixj,⋯,xn2,⋯]其中的一项或者几项具体是几项视具体情况确定这个的目标是保留原始信息同时要增加尽可能多的生成信息所以一般往高维方向映射。 当然这个函数设计好以后我们在支持向量机的对偶函数中其实计算的是 K ( x i , x j ) K(x_i,x_j) K(xi,xj)这个函数是上面映射函数的乘积可能计算更加复杂所以从方便对偶函数的计算角度出发设计了专门的对偶核函数不过对偶核函数是有要求的需要对所有特征 x x x所构成的gram矩阵是半正定的。 而这种情况下我们可以设计方便计算的核函数比如 多项式核函数 K ( x , z ) ( x ⋅ z 1 ) p K(x,z)(x\cdot z1)^p K(x,z)(x⋅z1)p计算难度大大减小而且这个多项式核函数对应的映射函数也比较好求 K ( x , z ) ( x ⋅ z 1 ) 2 ( x 1 z 1 x 2 z 2 1 ) 2 x 1 2 z 1 2 2 x 1 x 2 z 1 z 2 2 x 1 z 1 x 2 2 z 2 2 2 x 2 z 2 1 [ x 1 2 , 2 x 1 x 2 , 2 x 1 , x 2 2 , 2 x 2 , 1 ] ∗ [ z 1 2 , 2 z 1 z 2 , 2 z 1 , z 2 2 , 2 z 2 , 1 ] T \begin{align*} K(x,z)(x\cdot z1)^2\\ (x_1z_1x_2z_21)^2\\ x_1^2z_1^22x_1x_2z_1z_22x_1z_1x_2^2z_2^22x_2z_21\\ [x_1^2,\sqrt{2}x_1x_2,\sqrt{2}x_1,x_2^2,\sqrt{2}x_2,1]*[z_1^2,\sqrt{2}z_1z_2,\sqrt{2}z_1,z_2^2,\sqrt{2}z_2,1]^T \end{align*} K(x,z)(x⋅z1)2(x1z1x2z21)2x12z122x1x2z1z22x1z1x22z222x2z21[x12,2 x1x2,2 x1,x22,2 x2,1]∗[z12,2 z1z2,2 z1,z22,2 z2,1]T
相当于截取了泰勒展开式中的前几项。 换句话说如果我们想将坐标映射为 [ 1 , x 1 , x 2 , x 1 2 , x 1 x 2 , x 2 2 ] [1,x_1,x_2,x_1^2,x_1x_2,x_2^2] [1,x1,x2,x12,x1x2,x22]然后利用映射后的坐标来计算 w [ 1 , x 1 , x 2 , x 1 2 , x 1 x 2 , x 2 2 ] T b w[1,x_1,x_2,x_1^2,x_1x_2,x_2^2]^Tb w[1,x1,x2,x12,x1x2,x22]Tb来作为判别函数那么这个分界面问题的对偶函数中 ϕ ( x i ) ϕ ( x j ) \phi(x_i)\phi(x_j) ϕ(xi)ϕ(xj)就是上面的 ( x ⋅ z 1 ) p (x\cdot z1)^p (x⋅z1)p的形式也就是我们不用知道中间映射后的坐标而可以直接计算 ( x i ⋅ x j 1 ) p (x_i\cdot x_j1)^p (xi⋅xj1)p。
高斯核函数; K ( x , z ) exp ( − ∥ x − z ∥ 2 2 σ 2 ) K(x,z)\exp(-\frac{{\|x-z\|}^2}{2\sigma^2}) K(x,z)exp(−2σ2∥x−z∥2)计算难度大大减小但是这个核函数对应的映射函数不容易求出来。 K ( x , z ) exp ( − ( x 1 − z 1 ) 2 ( x 2 − z 2 ) 2 2 σ 2 ) exp ( − x 1 2 z 1 2 − 2 x 1 z 1 x 2 2 z 2 2 − 2 x 2 z 2 2 σ 2 ) exp ( − x 1 2 2 σ 2 ) exp ( − z 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) exp ( − z 2 2 2 σ 2 ) exp ( 2 x 1 z 1 2 σ 2 ) exp ( 2 x 2 z 2 2 σ 2 ) exp ( − x 1 2 2 σ 2 ) exp ( − z 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) exp ( − z 2 2 2 σ 2 ) [ 1 2 x 1 z 1 2 σ 2 ⋯ 1 n ! ( 2 x 1 z 1 2 σ 2 ) n ⋯ ] [ 1 2 x 2 z 2 2 σ 2 ⋯ 1 n ! ( 2 x 2 z 2 2 σ 2 ) n ⋯ ] exp ( − x 1 2 2 σ 2 ) exp ( − z 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) exp ( − z 2 2 2 σ 2 ) [ ∑ t 0 ∞ ∑ k 0 ∞ 1 t ! ( 2 x 1 z 1 2 σ 2 ) t 1 k ! ( 2 x 2 z 2 2 σ 2 ) k ] exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) [ 1 , x 1 σ , ⋯ , 1 n ! ( x 1 σ ) n , ⋯ , x 2 σ , x 1 x 2 σ 2 , ⋯ , 1 n ! ( x 1 n x 2 σ n 1 ) , ⋯ , 1 t ! n ! x 1 t x 2 n σ t n , ⋯ ] ∗ exp ( − z 1 2 2 σ 2 ) exp ( − z 2 2 2 σ 2 ) [ 1 , z 1 σ , ⋯ , 1 n ! ( z 1 σ ) n , ⋯ , z 2 σ , z 1 z 2 σ 2 , ⋯ , 1 n ! ( z 1 n z 2 σ n 1 ) , ⋯ , 1 t ! n ! z 1 t z 2 n σ t n , ⋯ ] \begin{align*} K(x,z)\exp(-\frac{(x_1-z_1)^2(x_2-z_2)^2}{2\sigma^2})\\ \exp(-\frac{x_1^2z_1^2-2x_1z_1x_2^2z_2^2-2x_2z_2}{2\sigma^2})\\ \exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})\exp(\frac{2x_1z_1}{2\sigma^2})\exp(\frac{2x_2z_2}{2\sigma^2})\\ \exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})[1\frac{2x_1z_1}{2\sigma^2}\cdots\frac{1}{n!}(\frac{2x_1z_1}{2\sigma^2})^n\cdots][1\frac{2x_2z_2}{2\sigma^2}\cdots\frac{1}{n!}(\frac{2x_2z_2}{2\sigma^2})^n\cdots]\\ \exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})[\sum_{t0}^{\infty}\sum_{k0}^{\infty}\frac{1}{t!}(\frac{2x_1z_1}{2\sigma^2})^t\frac{1}{k!}(\frac{2x_2z_2}{2\sigma^2})^k]\\ \exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{tn}},\cdots]*\\ \exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})[1,\frac{z_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{z_1}{\sigma})^n,\cdots,\frac{z_2}{\sigma},\frac{z_1z_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{z_1^nz_2}{\sigma^{n1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{z_1^tz_2^n}{\sigma^{tn}},\cdots] \end{align*} K(x,z)exp(−2σ2(x1−z1)2(x2−z2)2)exp(−2σ2x12z12−2x1z1x22z22−2x2z2)exp(−2σ2x12)exp(−2σ2z12)exp(−2σ2x22)exp(−2σ2z22)exp(2σ22x1z1)exp(2σ22x2z2)exp(−2σ2x12)exp(−2σ2z12)exp(−2σ2x22)exp(−2σ2z22)[12σ22x1z1⋯n!1(2σ22x1z1)n⋯][12σ22x2z2⋯n!1(2σ22x2z2)n⋯]exp(−2σ2x12)exp(−2σ2z12)exp(−2σ2x22)exp(−2σ2z22)[t0∑∞k0∑∞t!1(2σ22x1z1)tk!1(2σ22x2z2)k]exp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1 (σx1)n,⋯,σx2,σ2x1x2,⋯,n!1 (σn1x1nx2),⋯,t!n!1 σtnx1tx2n,⋯]∗exp(−2σ2z12)exp(−2σ2z22)[1,σz1,⋯,n!1 (σz1)n,⋯,σz2,σ2z1z2,⋯,n!1 (σn1z1nz2),⋯,t!n!1 σtnz1tz2n,⋯]
所以两个映射函数分别如上所示 ϕ ( x ) exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) [ 1 , x 1 σ , ⋯ , 1 n ! ( x 1 σ ) n , ⋯ , x 2 σ , x 1 x 2 σ 2 , ⋯ , 1 n ! ( x 1 n x 2 σ n 1 ) , ⋯ , 1 t ! n ! x 1 t x 2 n σ t n , ⋯ ] \phi(x)\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{tn}},\cdots] ϕ(x)exp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1 (σx1)n,⋯,σx2,σ2x1x2,⋯,n!1 (σn1x1nx2),⋯,t!n!1 σtnx1tx2n,⋯]
如果只看后面的向量的话他就是泰勒展开式中各个项但是它前面还乘上了系数 exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) \exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2}) exp(−2σ2x12)exp(−2σ2x22)缩放了一下。 换句话说这个映射函数把原始特征映射为了一个无穷维的坐标我们实际上做的是用这个映射后的坐标 exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) [ 1 , x 1 σ , ⋯ , 1 n ! ( x 1 σ ) n , ⋯ , x 2 σ , x 1 x 2 σ 2 , ⋯ , 1 n ! ( x 1 n x 2 σ n 1 ) , ⋯ , 1 t ! n ! x 1 t x 2 n σ t n , ⋯ ] \exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{tn}},\cdots] exp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1 (σx1)n,⋯,σx2,σ2x1x2,⋯,n!1 (σn1x1nx2),⋯,t!n!1 σtnx1tx2n,⋯]去构成分界面 w exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) [ 1 , x 1 σ , ⋯ , 1 n ! ( x 1 σ ) n , ⋯ , x 2 σ , x 1 x 2 σ 2 , ⋯ , 1 n ! ( x 1 n x 2 σ n 1 ) , ⋯ , 1 t ! n ! x 1 t x 2 n σ t n , ⋯ ] b w\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{tn}},\cdots]b wexp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1 (σx1)n,⋯,σx2,σ2x1x2,⋯,n!1 (σn1x1nx2),⋯,t!n!1 σtnx1tx2n,⋯]b作为分界面其中 w w w为无穷维向量那么这个分界面问题的对偶函数中 ϕ ( x i ) ϕ ( x j ) \phi(x_i)\phi(x_j) ϕ(xi)ϕ(xj)就是上面的 exp ( − ( x 1 − z 1 ) 2 ( x 2 − z 2 ) 2 2 σ 2 ) \exp(-\frac{(x_1-z_1)^2(x_2-z_2)^2}{2\sigma^2}) exp(−2σ2(x1−z1)2(x2−z2)2)的形式也就是我们不用知道中间映射后的坐标而可以直接计算 exp ( − ( x 1 − z 1 ) 2 ( x 2 − z 2 ) 2 2 σ 2 ) \exp(-\frac{(x_1-z_1)^2(x_2-z_2)^2}{2\sigma^2}) exp(−2σ2(x1−z1)2(x2−z2)2)。
