网站制作软件是什么,seo软件优化工具软件,提供建议的网站模板,超级链接网站模板猴子吃果冻 博客园首页新随笔联系管理订阅随笔- 35 文章- 0 评论- 3 4-EM算法原理及利用EM求解GMM参数过程 1.极大似然估计 原理#xff1a;假设在一个罐子中放着许多白球和黑球#xff0c;并假定已经知道两种球的数目之比为1:3但是不知道那种颜色的球多。如果用放回抽样方… 猴子吃果冻 博客园首页新随笔联系管理订阅 随笔- 35 文章- 0 评论- 3 4-EM算法原理及利用EM求解GMM参数过程 1.极大似然估计 原理假设在一个罐子中放着许多白球和黑球并假定已经知道两种球的数目之比为1:3但是不知道那种颜色的球多。如果用放回抽样方法从罐中取5个球观察结果为黑、白、黑、黑、黑估计取到黑球的概率为p; 假设p1/4,则出现题目描述观察结果的概率为(1/4)4 *(3/4) 3/1024 假设p3/4,则出现题目描述观察结果的概率为(3/4)4 *(1/4) 81/1024 由于81/1024 3/1024,因此任务p3/4比1/4更能出现上述观察结果所以p取3/4更为合理 以上便为极大似然估计的原理 定义如下图图片来自浙江大学概率论课程课件 2.知晓了极大似然估计的原理之后我们可以利用极大似然估计的原理来解决如下问题 即若给定一圈样本x1,x2.....xn,已知他们服从高斯分布N(μ,σ),要求估计参数均值μ,标准差σ (1) 高斯分布的概率密度为 (2) 利用上述极大似然估计的原理构建似然函数为 (3) 为例求解方便我们取对数似然 (4) 我们的目标是求上述l(x)的最大值对上式分别关于μσ求二阶导数很容易证明2次倒数均小于0 所以上述函数关于μ,和σ均为凹函数极大值点满足一阶导数等于0故通过对μ,和σ求偏导并且倒数为0 我们即可得到如下等式 3.EM算法原理推导 3.1 EM算法与极大似然估计的区别于联系直接饮用李航-统计学习方法中的内容 概率模型有时即含有观测变量又含有隐变量或潜在变量如果概率模型的变量都是观测变量那么给定数据可以直接用极大似然估计法或者贝叶斯估计法估计模型参数。但是当模型含有隐量时就不能简单的用这些估计方法EM算法就是含有隐变量的概率模型参数的极大似然估计法 什么是隐变量 举例比如现要在一所学校中随机选取1000个人测量身高最终我们会得到一个包含1000个身高数据的数据集此数据集就称为观测变量那这1000个学生中既有男生又有女生我们在选取完成以后并不知道男生和女生的比例是多少此时这1000名学生中男生的占比以及女生的占比就称为隐变量 3.2 有了上述简单的认识之后下边解决EM算法的推导过程 在对EM算法原理进行推导之前先用一个实例理解一下下文中θ所表示的意义 假设现有样本集T {x1,x2 .....xm}包含m个独立样本其中每个样本对应的类别z这里的类别z就可以类比3.1中的男生女生两种性别去理解是未知的所以很难直接用极大似然法去求解。 以x1为例x1发生的概率可以表示为:,θ表示的就是我们要估计的参数的一个总称后续证明过程中的Q(z)也是θ中的一个参数。举例如果每一个类别z均符合高斯分布那么θ中还会包含均值μ和标准差σ如果对θ的理解不是不到 整个数据集T的似然函数可以表示为 为了便于计算我们取对数似然得 对上上述函数log中有求和运算求解困难故我们可以对其形式进行转化转化为易于我们求解的方式如下式表示第i个样本第j个类别的概率则表示的期望 log函数是一个凹函数故利用jenson不等式的原理可以得出期望的函数值大于等于函数值的期望故表达如下 在上述不等式的等号成立时和是等价的也就是说后式的最大值即为前式的最大值。当log函数的图像是一条直线时等号成立故为常数时等号成立。 #-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-# E-step:即就是上述的 M-step:在E-step的基础上求使得上述函数值的期望取得最大值的参数θ的取值 #-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-#-# 对上述E-step和M-step不断进行迭代知道我们估计的模型参数收敛即变化趋近于一个定值我们即可得到最适合观测数据集的模型参数者便是EM算法 4.利用EM原理推导GMM混合高斯模型 随机变量X是有K个高斯分布混合而成取各个高斯分布的概率为φ1φ2...φK第i个高斯分布的均值为μi方差为Σi。若观测到随机变量X的一系列样本x1,x2...xn试估计参数φμΣ。 第一步依据3中E-step估计φ用wj(i) 表示意义是对第i个样本第j个高斯分布的贡献率即第j个高斯分布的占比 第二步依据3中的M-step估计μ和σ 用 表示σ2 对上述关于μ求偏导得 对2式为0 可得 同理对方差求偏导并令导入为0 可得 对于φj 由于 故对于φj 必须采用添加极值的方式求解需构建拉个朗日方程进行求解。 观察1式log函数中可以看成是一个常数与φj相乘。由对数函数求导法则指在求导之后常数项终被抵消如f(x) lnax 关于x求导结果与g(x)lnx关于x求导结果相同故对于1式在构建拉个朗日函数时直接去掉log函数中的常数项如下 由于φj 为正在log函数中已有现值故这里无需构建不等式约束 对朗格朗日函数关于φj求导并取倒数为0 可得 5.用实例理解GMM的参数估计过程 5.1 在正式引入GMM混合高斯模型前我们以下述情景的求解为例用实例看先熟悉以下参数更新的过程 情景假设从商场随机选取10位顾客测量这10位顾客的身高这些顾客中既包含男性顾客也包含女性顾客现在我们已知测量数据T[x1,x2.....x10]为我们测试的身高数据即为可观测数据集。并且知道男性女性顾客的身高均服从高斯分布N(μ1,σ1),N(μ2,σ2),估计参数μ1,σ1μ2,σ2 以及男女比例 α1α2 高斯分布的概率密度函数为 1对于测试数据x1 其产生的概率我们可以表示为 我们用γ(i,k)来表示男性或者女性在生成数据x1 时所做的贡献γ(i,k)就相当于我们初始给定的α1α2。或者说表示单由男性或者女性产生数据xi的概率前后两个说法所想表达的意思是相同的那么就有 2对于测试数据x2 其产生的概率我们可以表示为 同1可知 3依次按照上述12的规律我们就可以求出如下表格中的所有值表中标绿的在上述12步已求出 我们在上文2中的4已经推导出来了μ和σ2的计算公式故 对于上述α1α2计算方式的理解α1α2表示的是同一次实验或者说针对同一个样本两类数据来源男性女性对样本结果的贡献率那么对于每一个样本来说他们的男性和女性的贡献率都应该是恒定的故我们采用取平均的方式更新α1α2 4用计算出来的μ1new,μ2new σ21new σ22new α1new,α2new 再次重复迭代上述123步骤直到μ1new,μ2new σ21new σ22new α1new,α2new 收敛我们即得到的关于本次观测数据最合适的参数 5.2 有了上述实例以后我们直接给出GMM的推广式(下述式子的正面过程见4中GMM的证明过程 随机变量X是有K个高斯分布混合而成取各个高斯分布的概率为φ1φ2...φK第i个高斯分布的均值为μi方差为Σi。若观测到随机变量X的一系列样本x1,x2...xn试估计参数φμΣ。 第一步如上述实例中1和2 第二步如上述实例中的3 转载于:https://www.cnblogs.com/cupleo/p/10656370.html
