有没有学做衣服的网站,莱芜都市网怎么样,ppt公司简介页面设计,有哪些好的ps素材网站EM算法是一种迭代方法#xff0c;可以看作用坐标下降法来最大化对数似然估计下界的过程。
一、引入
#xff08;一#xff09;算法介绍
1、例题
有三枚硬币#xff0c;ABC他们出现正面的概率分别是Π#xff0c;p和q。进行如下投掷实验#xff1a;先投掷A#xff0c…EM算法是一种迭代方法可以看作用坐标下降法来最大化对数似然估计下界的过程。
一、引入
一算法介绍
1、例题
有三枚硬币ABC他们出现正面的概率分别是Πp和q。进行如下投掷实验先投掷A再根据其结果选出硬币B或者CA出现正面选择B反面选择C然后投掷选出的硬币将掷出正面记作1反面记作0独立地重复N次实验该问题n10观测结果如下1101001011
要求只能观测到掷硬币的结果不能观测到掷硬币的过程问如何估计三硬币正面出现的概率即三硬币模型的参数
P(y|λ)ΣzP(y,z|λ)ΣzP(z|λ)P(y|z,λ) y是观测变量表示一次实验的测试结果是1或者0随机变量z是隐变量表示未观测到的掷硬币A的结果λΠp, q是参数模型。 求极大似然估计没有解析式只有通过迭代的方法求解。EM可以完成该任务
2、EM算法流程
(1)选取参数初值记作λ0Π(0),p(0),q(0),通过迭代计算参数的估计值直至收敛EM算法的第i1次迭代如下。 (2)E步 (3)M步计算模型参数的新估计值 Yj表示每一次的观测结果每次计算都要把所有实验结果都代进迭代式 假设三个参数的初值都是0.5那么对于y1或者y0来说E步对应的值都是0.5 计算过程如下 EM算法注意点
1、对初值敏感 2、当迭代过程中的两步的值无限趋近的时候则停止迭代 3、E步求的是Q函数及其最大 4、M步的每次迭代使近似函数增大或达到局部极值。
(二)、算法导出
为什么EM算法能实现对观测数据的极大似然估计呢通过近似求解观测数据的对数似然函数的极大化问题导出EM算法可以看到EM算法的作用。 极大化 难点在于上式中包含未观测数据并由包含和的对数。 EM算法的核心是通过迭代逐步近似极大化L函数每一次新的估计值都期望它可以让L值增大逐步达到最大值。
