网站防注入怎么办,中国建设银行官网查询,删除wordpress站,电销做网站项目类似SVM#xff0c;决策树也是非常多功能的机器学习算法#xff0c;可以分类#xff0c;回归#xff0c;甚至可以完成多输出的任务#xff0c;能够拟合复杂的数据集#xff08;比如第二章的房价预测例子#xff0c;虽然是过拟合了。#xff09;决策树也是很多集成学习的…类似SVM决策树也是非常多功能的机器学习算法可以分类回归甚至可以完成多输出的任务能够拟合复杂的数据集比如第二章的房价预测例子虽然是过拟合了。决策树也是很多集成学习的组件比如随机森林和梯度提升树等等决策树的训练和可视化还是以熟悉的iris数据集为例首先训练一个决策树模型然后做一些可视化使用export_graphviz()方法通过生成一个叫做iris_tree.dot。from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
iris load_iris()
X iris.data[:, 2:] # petal length and width
y iris.target
tree_clf DecisionTreeClassifier(max_depth2)
tree_clf.fit(X, y)from sklearn.tree import export_graphviz
export_graphviz(tree_clf,out_fileimage_path(iris_tree.dot),feature_namesiris.feature_names[2:],class_namesiris.target_names,roundedTrue,filledTrue) 可以利用graphviz packagehttp://www.graphviz.org/ 中的dot命令行将.dot文件转换成 PDF 或 PNG 等多种数据格式。$ dot -Tpng iris_tree.dot -o iris_tree.png我们将从这个图开始简单分析决策树是怎么样工作的从根节点出发首先要判断花瓣长度是否小于 2.45 厘米如果小于移动到左子节点会判断这个花是Iris-Setosa。如果大于2.45cm会移动到右子节点判断宽度是否小于等于1.75cm如果是的会到它的左子节点判断为versicolor否则到右子节点判断为virginica。过程是非常清晰简单的决策树的众多特性之一就是 它不需要太多的数据预处理 尤其是不需要进行特征的缩放或者归一化。图中还有一些属性samples属性统计出它应用于多少个训练样本实例。如开始有150组例子value属性告诉你这个节点对于每一个类别的样例有多少个。如右下角的节点中包含 0 个 Iris-Setosa1 个 Iris-Versicolor 和 45 个 Iris-Virginica。Gini属性用于测量它的纯度如果一个节点包含的所有训练样例全都是同一类别的我们就说这个节点是纯的Gini0。基尼不纯度的公式在下面具体的用处我们稍后再说。Sklearn 用的是 CART 算法 CART 算法仅产生二叉树是或否。然而像 ID3 这样的算法可以产生超过两个子节点的决策树模型。下面的图展示了决策边界第一次的边界是在length2.45左面是纯的不用再分了。右面是不纯的再在width1.75做了分割如果树高可以为3的话会继续分割下去如虚线从图中可以看出决策树是典型的白盒模型可以提供清楚的分类依据。分类具有很强的可解释性另外决策树可以很容易的给出分类的概率比如你发现了一个花瓣长 5 厘米宽 1.5 厘米的花朵对应上图6-1的绿色那一块Iris-Setosa 为 0%0/54Iris-Versicolor 为 90.7%49/54Iris-Virginica 为 9.3%5/54测试结果完全符合预期 tree_clf.predict_proba([[5, 1.5]])
array([[ 0. , 0.90740741, 0.09259259]])tree_clf.predict([[5, 1.5]])
array([1])CART树算法SkLearn 用分裂回归树Classification And Regression Tree CART算法训练决策树原理非常简单每次分裂都要找到特征k和阈值tk比如特征宽度阈值2.45CART会寻找一个分裂方法让分裂后两边的基尼不纯度按照节点数量加权尽可能的小损失函数为然后递归的对于子集子集的子集按照同样的方法进行分裂可以看出每次分割是贪心算法不能保证这是全局上最好的解。这是因为找到最优树是一个 NP 完全问题需要超出多项式的复杂度我们需要找一个合理的而不是最佳的方案CART停止的条件是达到预定的最大深度之后将会停止分裂由max_depth超参数决定或者是它找不到可以继续降低不纯度的分裂方法的时候所有节点都是同一个类了。几个其他超参数之后介绍控制了其他的停止生长条件。复杂度计算建立好决策树后预测的速度是非常快的。决策树是一个近似平衡的树大概只需要Ologm的复杂度m样本数因此是非常快的。但是训练上因为要比较多种的分裂可能有了Onmlogm的复杂度。过程是比较慢的。对于小型的数据集少于几千可以用预排序来加速presort True但是大数据反而会降低速度。基尼不纯度/信息熵通常算法使用 Gini 不纯度来进行检测 但是你也可以设置为entropy来使用熵不纯度进行检测。熵的概念是源于热力学中分子混乱程度的概念当分子井然有序的时候熵值接近于 0。后来推广到信息论中当所有信息相同的时候熵被定义为零。在机器学习中熵经常被用作不纯度的衡量方式当一个集合内只包含一类实例时 我们称为数据集的熵为 0。 熵的减少通常称为信息增益。通常来说Gini不纯度和信息熵的结果是类似的基尼指数计算稍微快一点所以这是一个很好的默认值。但是也有的时候它们会产生不同的树基尼指数会趋于在树的分支中将最多的类隔离出来而熵指数趋向于产生略微平衡一些的决策树模型。正则化决策树不对数据做任何的假设如果任由决策树无限制的拟合数据必然会造成严重的过拟合。这样的模型称为非参数模型没有参数数量的限制可以自由的去拟合数据。线性回归等这类有参数的模型自由度受到一定的限制本身就有一些抵御过拟合的能力也增加了欠拟合的风险除了限制树的高度可以显著的限制模型过拟合SKlearn还有一些其他的正则化相关的超参数min_samples_split节点在被分裂之前必须具有的最小样本数min_samples_leaf叶节点必须具有的最小样本数min_weight_fraction_leaf和min_samples_leaf相同但表示为加权总数的一小部分实例max_leaf_nodes叶节点的最大数量max_features在每个节点被评估是否分裂的时候具有的最大特征数量增加min_开头的超参数或者减小max开头的超参数会让模型更正则化还有一些其他的决策树算法采用后剪枝形式先生成足够大的树再删去一些不必要的节点下图展示了正则化对决策边界的影响左面显然是过拟合了。回归决策树也可以处理回归的问题from sklearn.tree import DecisionTreeRegressor
tree_reg DecisionTreeRegressor(max_depth2)
tree_reg.fit(X, y)得到了一棵这样的树可以看出和分类相比区别在于不再最小化不纯度了而是最小化MSE直观的看每一个子集的红线代表了value值即这个子集的平均同样正则化可以带来帮助不稳定性决策树是一类非常强大的模型但是也有一些局限性首先决策树的决策边界和坐标轴是垂直的这样的性质导致对数据的旋转很敏感如图左右两个虽然都可以分割开但是右面的泛化显然不如左边好可以用PCA来解决这样的问题见第八章其次决策树对一些数据的微小变化可能非常敏感一点点的区别可能导致决策边界截然不同的而且SKlearn中许多方法都有偶然性除非设置了随机种子这也会带来许多不稳定性。下一章中将会看到随机森林可以通过多棵树的平均预测值限制这种不稳定性
