淄博做网站市场,dedecms手机版,免费cms建站,新手怎么做电商转自#xff1a;http://blog.csdn.net/jojozhangju/article/details/19182013 1.高斯混合模型概述 高斯密度函数估计是一种参数化模型。高斯混合模型#xff08;Gaussian Mixture Model, GMM#xff09;是单一高斯概率密度函数的延伸#xff0c;GMM能够平滑地近似任意形状的… 转自http://blog.csdn.net/jojozhangju/article/details/19182013 1.高斯混合模型概述 高斯密度函数估计是一种参数化模型。高斯混合模型Gaussian Mixture Model, GMM是单一高斯概率密度函数的延伸GMM能够平滑地近似任意形状的密度分布。高斯混合模型种类有单高斯模型Single Gaussian Model, SGM和高斯混合模型Gaussian Mixture Model, GMM两类。类似于聚类根据高斯概率密度函数Probability Density Function, PDF参数不同每一个高斯模型可以看作一种类别输入一个样本x即可通过PDF计算其值然后通过一个阈值来判断该样本是否属于高斯模型。很明显SGM适合于仅有两类别问题的划分而GMM由于具有多个模型划分更为精细适用于多类别的划分可以应用于复杂对象建模。 1.1.单高斯模型 多维高斯正态分布概率密度函数PDF定义如下 注意与一维高斯分布不同其中x是维数为d的样本向量列向量 是模型期望∑是模型方差。 对于单高斯模型由于可以明确训练样本是否属于该高斯模型故 通常由训练样本均值代替∑由样本方差代替。为了将高斯分布用于模式分类假设训练样本属于类别C那么式(1)可以改为如下形式 式子(2)表明样本属于类别C的概率大小。从而将任意测试样本输入式(2),均可以得到一个标量然后根据阈值t来确定该样本是否属于该类别。 *阈值t的确定可以为经验值也可以通过实验确定。另外也有一些策略可以参考如首先令t0.7,以0.05为步长一直减到0.1左右选择使样本变化最小的那个阈值做为最终t值也就是意味着所选的t值所构造的分类模型最稳定。 *几何意义理解单高斯分布模型在二维空间应该近似于椭圆在三维空间上近似于椭球。遗憾的是在很多分类问题中属于同一类别的样本点并不满足“椭圆”分布的特性。这就引入了高斯混合模型。 1.2.高斯混合模型 高斯混合模型是单一高斯机率密度函数的延伸由于 GMM 能够平滑地近似任意形状的密度分布因此近年来常被用在语音、图像识别等方面得到不错的效果。
例如例有一批观察数据数据个数为n在d维空间中的分布不是椭球状如图1(a)那么就不适合以一个单一的高斯密度函数来描述这些数据点的机率密度函数。此时我们采用一个变通方案假设每个点均由一个单高斯分布生成如图1(b)具体参数未知而这一批数据共由M明确个单高斯模型生成具体某个数据 属于哪个单高斯模型未知且每个单高斯模型在混合模型中占的比例 未知将所有来自不同分布的数据点混在一起该分布称为高斯混合分布。从数学上讲我们认为这些数据的概率分布密度函数可以通过加权函数表示 上式即称为GMM其中 表示第j个SGM的PDF。
j需要实现确定好就像K-means中的K一样。是权值因子。其中的任意一个高斯分布叫做这个模型的一个component。这里有个问题为什么我们要假设数据是由若干个高斯分布组合而成的而不假设是其他分布呢实际上不管是什么分布只要j取得足够大这个xx Mixture Model就会变得足够复杂就可以用来逼近任意连续的概率密度分布。只是因为高斯函数具有良好的计算能力所以GMM被广泛使用。GMM是一种聚类算法每个component就是一个聚类中心。即在只有样本点不知道样本分类含有隐含变量的情况下计算出模型参数。这显然可以用EM算法来求解。再用训练好的模型去差别样本所属的分类方法是
Step1:随机选择K个component中的一个被选中的概率是Step2:把样本代入刚选好的component判断是否属于这个类别如果不属于则回到step1 2.高斯混合模型参数估计 2.1样本分类已知情况下的GMM
当每个样本所属分类已知时GMM的参数非常好确定直接利用Maximum Likelihood。设样本容量为N属于K个分类的样本数量分别是属于第k个分类的样本集合是L(k) 2.2.样本分类未知情况下的GMM 有N个数据点服从某种分布我们想要找到一组参数使得生成这些数据点的概率最大这个概率就是 称为似然函数(Likelihood Function)。通常单个点的概率很小连乘之后数据会更小容易造成浮点数下溢所以一般取对数变成 称为log-likelihood function。 GMM的log-likelihood function就是 这里每个样本所属的类别是不知道的。Z是隐含变量。 我们就是要找到最佳的模型参数使得(10)式所示的期望最大“期望最大化算法”名字由此而来。 EM法求解 EM要求解的问题一般形式是: Y是隐含变量我们已经知道如果数据点的分类标签Y是已知的那么求解模型参数直接利用Maximum Likelihood就可以了。EM算法的基本思路是随机初始化一组参数根据后验概率来更新Y的期望E(Y)然后用E(Y)代替Y求出新的模型参数。如此迭代直到趋于稳定。 E-Step E就是Expectation的意思就是假设模型参数已知的情况下求隐含变量Z分别取的期望亦即Z分别取的概率。在GMM中就是求数据点由各个 component生成的概率。 注意到我们在Z的后验概率前面乘以了一个权值因子它表示在训练集中数据点属于类别的频率在GMM中它就是。 M-StepM就是Maximization的意思就是用最大似然的方法求出模型参数。现在我们认为上一步求出的就是“数据点由component k生成的概率”。根据公式(5),(6),(7)可以推出
