网站维护多少钱一个月,网站定制公司地址,放心的网站建设代理,网站做系统叫什么名字这张图片很关键#xff0c;来自统计学习方法的PCA插图又要考试了#xff0c;推导一下方差最大化与均方差最小化#xff0c;老师上课讲了一些均方差最小化#xff0c;推导的过程很详细不过自己没有记下来#xff0c;复习的时候再推一遍加深印象。感谢 耳东陈 老师的精彩课件…这张图片很关键来自统计学习方法的PCA插图又要考试了推导一下方差最大化与均方差最小化老师上课讲了一些均方差最小化推导的过程很详细不过自己没有记下来复习的时候再推一遍加深印象。感谢 耳东陈 老师的精彩课件一、方差的定义 去除均值方便计算 将均值为0后方差就可以表示成元素平方和除以个数即 二、协方差的定义由于均值为 0所以我们的协方差公式可以表示为三、协方差矩阵将和变量拼成一个矩阵那么计算协方差矩阵顺便说一下,的期望也就是它与它自身的协方差记为 四、方差最大化假设原来有两个变量x1,x2,三个样本点分别为ABC样本分布在由轴x1x2组成的坐标系中。对坐标系进行旋转变换得到新的坐标轴y1表示新的变量y1样本点ABC在y1轴上投影得到轴的坐标值为 坐标轴的平方和 为表示样本在变量y1上的方差和主成分分析旨在选取正交变换中方差最大的变量作为第一主成分也就是旋转变换中坐标值平方和最大的轴而我们知道对于样本而言本身的 为固有值不变因此可以通过勾股定理知道方差最大 最大等价于样本点到轴的距离 最小基于PCA的线性结合的第一个主成分为那么最大化方差为而经过了去掉均值化后期望为0去均值化期望为0的具体步骤如下假设为未去除均值的情况均值为那么回到(9)式继续计算这个方差有两种理解办法过程是一样的第一种根据方差与期望的关系通过(10)(11)算式推得到从而最大化方差等价于最大化第二种根据(2)的算式期望为0得到以下形式结果是相同的最后得到的最优化问题是五、均方误差最小化(MSE)在方差最大化的图中(勾股定理)可以知道VarianceMSE定值因此二者是等价的换一种思路通过均方误差最小化进行推导。向量的投影以该图的B点为例设B点的坐标为x1,x2,其所代表的向量为 ,由于 ,那么可以同样表示出直线的单位方向向量为 ,注由于该直线过原点就没有写截距项1那么先算向量和向量的夹角 .由于 ,即 ,可以继续化简为那么OB的长度为 OB的方向为 因此OB的向量为 在这个部分我们的目标是最小化均方误差也就是 下一步就是表示出 ,由向量的知识方向换一下没事因为还要平方可以得到因此目标为 由于协方差 是定值因此 越大均方误差越小。即得到的最优化问题为 六、求解最优化问题根据拉格朗日方程那么对w求导可以得到因此代入后有即寻找最大的特征值即为所求。那么从大到小排列 便得到了各个主成分。高维小样本数据集的PCA方法预降维度方法及相关公式例如: 这意味着在n很大的情况下 协方差矩阵太大并且不可逆很难分解因此要采用预处理降维度的办法
