校本教研网站建设,做柱状图饼状图好看的网站,做的网站如何发布,专利查询摘要#xff1a;旁听了清华大学王建勇老师的 数据挖掘#xff1a;理论与算法 的课,讲的还是挺细的,好记性不如烂笔头,在此记录自己的学习内容,方便以后复习。 一#xff1a;贝叶斯分类器简介 1#xff09;贝叶斯分类器是一种基于统计的分类器,它根据给定样本属于某一个具体…摘要旁听了清华大学王建勇老师的 数据挖掘理论与算法 的课,讲的还是挺细的,好记性不如烂笔头,在此记录自己的学习内容,方便以后复习。 一贝叶斯分类器简介 1贝叶斯分类器是一种基于统计的分类器,它根据给定样本属于某一个具体类的概率来对其进行分类。 2贝叶斯分类器的理论基础是贝叶斯理论。 3贝叶斯分类器的一种简单形式是朴素贝叶斯分类器,跟随机森林、神经网络等分类器都有可比的性能。 4贝叶斯分类器是一种增量型的分类器。 二贝叶斯理论 第一次接触贝叶斯还是本科学概率论的时候,那时候也就只知道做题目,没想到现在还能够在工作和学习中用到它,先复习下相关的基础概率公式吧 1) 乘法定理设PB0,则有P(AB) P(A|B)P(B). 2) 全概率公式设试验E的样本空间为S,A为E的事件,若事件组B1,B2,…,Bn为S的一个划分,且PBi 0(i1,2,…,n),则有 P(A) P(A|B1)P(B1) P(A|B2)P(B2) … P(A|Bn)P(Bn). 注在很多事件问题中P(A)不容易算出来,但是可以很容易的找到S的一个划分:B1,B2,…,Bn,并且P(Bi)和P(A|Bi)为已知或者容易算出,那么就可以根据上式求出P(A). 3贝叶斯公式设试验E的样本空间为S,A为E的事件,B1,B2…,Bn为S的一个划分,且P(A)0,P(Bi)0(i1,2,…,n),则有 P(Bi|A) P(ABi)/P(A) P(A|Bi)P(Bi)/∑P(A|Bi)P(Bi),i1,2,…n. 举例 X是一个待分类的数据元组,由n个属性描述H是一个假设,例如X属于类C。对于分类问题,我们想计算出概率P(H|X):即已知元组X的每个元素对应的属性值,求出X属于C类的概率。 例如X的属性值为age25,income$5000,H对应的假设是X会买电脑。 P(H|X)意思是在已知某客户信息age25,income$5000的条件下,该客户会买电脑的概率。 P(H):意思是对于任何给定的客户信息该客户会购买电脑的概率。 P(X|H)意思是已知客户会买电脑那么该客户的age25,income$5000的概率。 P(X):意思是在我们所有的客户信息集合中,客户的age25,income$5000的概率。 所以P(H|X) P(X|H)P(H)/P(X) 三朴素贝叶斯分类器 朴素贝叶斯分类器的工作流程如下 1设D为样本训练集每一个样本X是由n个属性值组成的X(x1,x2,…xn)对应的属性集为A1,A2,A3…An; 2: 假设有m个类标签:C1,C2,…Cm.对于某待分类元X,朴素分类器会把P(Ci|X)(i1,2,…m)值最大的那个类标签Ci认为是X的类别,即朴素贝叶斯分类器预测出X属于类Ci,当且仅当P(Ci|X)P(Cj|X) (1≤j≤m,j≠i).因此我们的目标就是找出P(Ci|X)中的最大值。 P(Ci|X) P(X|Ci)P(Ci)/P(X) 对于给定的样本集P(X)是常数跟某个具体的类标签没有关联所以要想找出P(Ci|X)的最大值也就是找出P(X|Ci)P(Ci)的最大值 如果我们不知道P(Ci)的值我们可以假设P(C1)P(C2)…P(Cm),当然P(Ci)可以通过估计值来代替,P(Ci)|Ci, D| /|D| 其中|D|为样本总数|Ci,D|为D中属于类Ci的样本数。 3如果n的值特别大,也就是说样本元有很多属性,那么对于P(X|Ci)的计算会相当复杂。所以在朴素贝叶斯中进行了一个假设即对于样本元中的每个属性,它们都互相条件独立。 所以有 对于P(xi|Ci)我们可以从训练集中算出来,其中xi代表在某个具体样本中对应属性Ai的值。 P(xi|Ci)的计算分为两种情况 1):如果属性Ai的值是分类变量(离散变量),那么P(xi|Ci)等于训练样本空间|D|中,属于类Ci并且对应属性Ai的值等于xi的数目除以样本空间中属于类Ci的样本数目。 2):如果Ai的值是连续型的变量,则P(xi|Ci)的计算会根据高斯分布来计算,设其中均值为μ,标准方差为σ 4为了预测X所属的类标签,我们根据前面的步骤可以算出每一个类标签Ci对应的PX|Ci)P(Ci)值当某一个类标签Ci有 P(X|Ci)P(Ci)P(X|Cj)P(Cj) 对于任意j 1≤j≤m,j≠i 则我们认为X属于类标签Ci. 四具体例子分析 这里我们还是用 分类算法之决策树 中的样本数据来进行举例 样本空间D如下表所示其中 |D|14. 属性集合为A{age,come,student,credit_rating} 对应的属性个数n4. 分类属性为buys_computer,值为{yes,no} 即C1buys_computer yes;C2: buys_computer no; 分类标签个数 m 2; 有一待分类的数据元X{age30,incomemedium,studentyes,credit_ratingfail}. 则根据朴素贝叶斯分类器的工作流程我们可以计算出 P(Ci): P(buys_computer “yes”) 9/14 0.643 P(buys_computer “no”) 5/14 0.357 P(xi|Ci): P(age “30” | buys_computer “yes”) 2/9 0.222 P(age “ 30” | buys_computer “no”) 3/5 0.6 P(income “medium” | buys_computer “yes”) 4/9 0.444 P(income “medium” | buys_computer “no”) 2/5 0.4 P(student “yes” | buys_computer “yes) 6/9 0.667 P(student “yes” | buys_computer “no”) 1/5 0.2 P(credit_rating “fair” | buys_computer “yes”) 6/9 0.667 P(credit_rating “fair” | buys_computer “no”) 2/5 0.4 P(X|Ci): P(X|buys_computer “yes”) 0.222 x 0.444 x 0.667 x 0.667 0.044 P(X|buys_computer “no”) 0.6 x 0.4 x 0.2 x 0.4 0.019 P(X|Ci)*P(Ci) : P(X|buys_computer “yes”) * P(buys_computer “yes”) 0.028 P(X|buys_computer “no”) * P(buys_computer “no”) 0.007 因为0.280.007所以X属于类buys_computer “yes”. 五朴素贝叶斯存在的问题 1零概率问题 在上述的例子中假设在样本数据集中income medium的样本数为0,那么P(income “medium” | buys_computer “yes”) 和 P(income “medium” | buys_computer “no”) 都将为0,那么在计算P(X|Ci)*P(Ci)时结果也为0这样就不好决定X是属于哪一个类。 对于这样的问题的一个解决方案叫做Laplacian correction或者Laplacian estimator,是以一位法国数学家Pierre Laplace名字命名的。 它的具体做法就是给相应的属性的不同值数目都加1: 假设有1000个训练样本,其中incomelow的数目为10,incomemedium的数目为0incomehigh的数目为990则为了避免零概率问题我们给每一种income的数目加1及最后结果为 income medium的数目为1low的数目为11high的数目为991.这样也就避免了零概率问题。 2准确度问题 朴素贝叶斯分类器是基于样本属性条件独立的假设的前提下的,但是实际情况可能并不成立这样也就缺失准确性了. 解决朴素贝叶斯准确性问题提出的一种方法叫做贝叶斯网络Bayesian Belief Networks .这个方法留着下次学习。转载于:https://www.cnblogs.com/justcxtoworld/p/3451571.html
