已将绑定域名给另一个网站,天津网站建设培训课件,后端开发技术有哪些,最新办公室装修效果图决策树表示对象属性#xff08;比如贷款用户的年龄、是否有工作、是否有房产、信用评分等#xff09;和对象类别#xff08;是否批准其贷款申请#xff09;之间的一种映射。使用层层推理来实现最终的分类。
根节点#xff1a;包含样本的全集 内部节点#xff1a;对…决策树表示对象属性比如贷款用户的年龄、是否有工作、是否有房产、信用评分等和对象类别是否批准其贷款申请之间的一种映射。使用层层推理来实现最终的分类。
根节点包含样本的全集 内部节点对应特征属性测试 叶节点代表决策的结果
预测时在树的内部节点处用某一属性值进行判断根据判断结果决定进入哪个分支节点直到到达叶节点处得到分类结果。
这是一种基于 if-then-else 规则的有监督学习算法决策树的这些规则通过训练得到而不是人工制定的。
决策树是最简单的机器学习算法它易于实现可解释性强完全符合人类的直观思维有着广泛的应用。 决策树学习的三个步骤
一、特征选择
特征选择决定了使用哪些特征来做判断。在训练数据集中每个样本的属性可能有很多个不同属性的作用有大有小。因而特征选择的作用就是筛选出跟分类结果相关性较高的特征也就是分类能力较强的特征。
在特征选择中通常使用的准则是信息增益
二、决策树生成 选择好特征后就从根节点出发对节点计算所有特征的信息增益选择信息增益最大的特征作为节点特征根据该特征的不同取值建立子节点对每个子节点使用相同的方式生成新的子节点直到信息增益很小或者没有特征可以选择为止。
三、决策树剪枝 剪枝的主要目的是对抗过拟合模型的泛化能力差通过主动去掉部分分支来降低过拟合的风险。
三种典型的决策树算法ID3、C4.5、CART
ID3最早提出的决策树算法利用信息增益来选择特征 C4.5ID3的改进版不是直接使用信息增益而是引入“信息增益比”指标作为特征的选择依据 CART可用于分类也可用于回归问题。使用基尼系数取代了信息熵模型。
关于信息增益Information Gain
信息熵表示的是不确定性。非均匀分布时不确定性最大此时熵就最大。当选择某个特征对数据集进行分类时分类后的数据集的信息熵会比分类之前小其差值表示为信息增益。信息增益可以衡量某个特征对分类结果的影响大小。
对于一个数据集特征A作用之前的信息熵计算公式为
式中D为训练数据集c 为类别数量P_i 为类别 i 样本数量占所有样本的比例。对应数据集 D选择特征 A 作为决策树判断节点时在特征 A 作用后的信息熵为 InfoA (D) 特征 A 作用后的信息熵计算公式计算如下
式中k 为样本 D 被分为 k 个子集。
