网站建设公司该怎么销售,太原医院网站建设,网站建设岗位能力评估表,营销策划36计机器学习入门系列#xff08;2#xff09;–如何构建一个完整的机器学习项目#xff0c;第六篇#xff01;
该系列的前五篇文章#xff1a;
机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理#…机器学习入门系列2–如何构建一个完整的机器学习项目第六篇
该系列的前五篇文章
机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理上特征工程之数据预处理下特征工程之特征缩放特征编码
这也是特征工程系列最后一篇文章介绍特征提取、特征选择、特征构建三个工作通常特征工程被认为分为这三方面的内容只是我将前面的数据特征预处理部分都加入到这个系列。
实际上特征工程其实是非常需要通过实践才能更好掌握这个技能的单纯看理论理解不够深入实际应用到项目或者比赛中的时候才会有更深入的理解。 3.4 特征选择
定义从给定的特征集合中选出相关特征子集的过程称为特征选择(feature selection)。
1.对于一个学习任务给定了属性集其中某些属性可能对于学习来说很关键但有些属性意义就不大。
对当前学习任务有用的属性或者特征称为相关特征(relevant feature)对当前学习任务没用的属性或者特征称为无关特征(irrelevant feature)。
2.特征选择可能会降低模型的预测能力因为被剔除的特征中可能包含了有效的信息抛弃这部分信息一定程度上会降低模型的性能。但这也是计算复杂度和模型性能之间的取舍
如果保留尽可能多的特征模型的性能会提升但同时模型就变复杂计算复杂度也同样提升如果剔除尽可能多的特征模型的性能会有所下降但模型就变简单也就降低计算复杂度。
3.常见的特征选择分为三类方法
过滤式(filter)包裹式(wrapper)嵌入式(embedding)
3.4.1 特征选择原理
1.采用特征选择的原因
维数灾难问题。因为属性或者特征过多造成的问题如果可以选择重要的特征使得仅需要一部分特征就可以构建模型可以大大减轻维数灾难问题从这个意义上讲特征选择和降维技术有相似的动机事实上它们也是处理高维数据的两大主流技术。去除无关特征可以降低学习任务的难度也同样让模型变得简单降低计算复杂度。
2.特征选择最重要的是确保不丢失重要的特征否则就会因为缺少重要的信息而无法得到一个性能很好的模型。
给定数据集学习任务不同相关的特征很可能也不相同因此特征选择中的不相关特征指的是与当前学习任务无关的特征。有一类特征称作冗余特征(redundant feature)它们所包含的信息可以从其他特征中推演出来。 冗余特征通常都不起作用去除它们可以减轻模型训练的负担但如果冗余特征恰好对应了完成学习任务所需要的某个中间概念则它是有益的可以降低学习任务的难度。
3.在没有任何先验知识即领域知识的前提下要想从初始特征集合中选择一个包含所有重要信息的特征子集唯一做法就是遍历所有可能的特征组合。
但这种做法并不实际也不可行因为会遭遇组合爆炸特征数量稍多就无法进行。
一个可选的方案是
产生一个候选子集评价出它的好坏。基于评价结果产生下一个候选子集再评价其好坏。这个过程持续进行下去直至无法找到更好的后续子集为止。
这里有两个问题如何根据评价结果获取下一个候选特征子集如何评价候选特征子集的好坏
3.4.1.1 子集搜索
1.子集搜索方法步骤如下 给定特征集合 A{A1,A2,…,Ad} 首先将每个特征看作一个候选子集即每个子集中只有一个元素然后对这 d 个候选子集进行评价。 假设 A2 最优于是将 A2 作为第一轮的选定子集。 然后在上一轮的选定子集中加入一个特征构成了包含两个特征的候选子集。 假定 A2,A5 最优且优于 A2 于是将 A2,A5 作为第二轮的选定子集。 … 假定在第 k1 轮时本轮的最优的特征子集不如上一轮的最优的特征子集则停止生成候选子集并将上一轮选定的特征子集作为特征选择的结果。
2.这种逐渐增加相关特征的策略称作前向 forward搜索
类似地如果从完整的特征集合开始每次尝试去掉一个无关特征这种逐渐减小特征的策略称作后向backward搜索
3.也可以将前向和后向搜索结合起来每一轮逐渐增加选定的相关特征这些特征在后续迭代中确定不会被去除同时减少无关特征这样的策略被称作是双向bidirectional搜索。
4该策略是贪心的因为它们仅仅考虑了使本轮选定集最优。但是除非进行穷举搜索否则这样的问题无法避免。
3.4.1.2 子集评价
1.子集评价的做法如下
给定数据集 D假设所有属性均为离散型。对属性子集 A假定根据其取值将 D 分成了 V 个子集D1,D2,⋯ThinSpace;,DV{D_1, D_2, \cdots, D_V}D1,D2,⋯,DV
可以计算属性子集 A 的信息增益 g(D,A)H(D)−H(D∣A)H(D)−∑v1V∣Dv∣∣D∣H(Dv)g(D, A) H(D) - H(D|A)H(D)-\sum^V_{v1}\frac{|D_v|}{|D|}H(D_v) g(D,A)H(D)−H(D∣A)H(D)−v1∑V∣D∣∣Dv∣H(Dv) 其中∣•∣|•|∣•∣表示集合大小H(•)H(•)H(•)表示熵。
信息增益越大表明特征子集 A 包含的有助于分类的信息越多。所以对于每个候选特征子集可以基于训练集 D 来计算其信息增益作为评价准则。
2.更一般地特征子集 A 实际上确定了对数据集 D 的一个划分规则。
每个划分区域对应着 A 上的一个取值而样本标记信息 y 则对应着 D 的真实划分。通过估算这两种划分之间的差异就能对 A 进行评价与 y 对应的划分的差异越小则说明 A 越好。信息熵仅仅是判断这个差异的一种方法其他能判断这两个划分差异的机制都能够用于特征子集的评价。
3.将特征子集搜索机制与子集评价机制结合就能得到特征选择方法。
事实上决策树可以用于特征选择所有树结点的划分属性所组成的集合就是选择出来的特征子集。其他特征选择方法本质上都是显式或者隐式地结合了某些子集搜索机制和子集评价机制。
4.常见的特征选择方法分为以下三种主要区别在于特征选择部分是否使用后续的学习器。
过滤式(filter)先对数据集进行特征选择其过程与后续学习器无关即设计一些统计量来过滤特征并不考虑后续学习器问题包裹式(wrapper)实际上就是一个分类器它是将后续的学习器的性能作为特征子集的评价标准。嵌入式(embedding)实际上是学习器自主选择特征。
5.最简单的特征选择方法是去掉取值变化小的特征。
假如某特征只有 0 和 1 的两种取值并且所有输入样本中95% 的样本的该特征取值都是 1 那就可以认为该特征作用不大。
当然该方法的一个前提是特征值都是离散型才使用该方法如果是连续型需要离散化后再使用并且实际上一般不会出现 95% 以上都取某个值的特征的存在。
所以这个方法简单但不太好用可以作为特征选择的一个预处理先去掉变化小的特征然后再开始选择上述三种类型的特征选择方法。
3.4.2 过滤式选择
该方法先对数据集进行特征选择然后再训练学习器。特征选择过程与后续学习器无关。
也就是先采用特征选择对初始特征进行过滤然后用过滤后的特征训练模型。
优点是计算时间上比较高效而且对过拟合问题有较高的鲁棒性缺点是倾向于选择冗余特征即没有考虑到特征之间的相关性。
3.4.2.1 Relief 方法
1.Relief:Relevant Features是一种著名的过滤式特征选择方法。该方法设计了一个相关统计量来度量特征的重要性。 该统计量是一个向量其中每个分量都对应于一个初始特征。特征子集的重要性则是由该子集中每个特征所对应的相关统计量分量之和来决定的。 最终只需要指定一个阈值 k然后选择比 k 大的相关统计量分量所对应的特征即可。 也可以指定特征个数 m 然后选择相关统计量分量最大的 m 个特征。
2.Relief 是为二分类问题设计的其拓展变体 Relief-F 可以处理多分类问题。
3.4.2.2 方差选择法
使用方差选择法先要计算各个特征的方差然后根据阈值选择方差大于阈值的特征。
3.4.2.3 相关系数法
使用相关系数法先要计算各个特征对目标值的相关系数以及相关系数的 P 值。
3.4.2.4 卡方检验
经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值因变量有M种取值考虑自变量等于 i 且因变量等于 j 的样本频数的观察值与期望的差距构建统计量 X2∑(A−E)2EX^2 \sum\frac{(A-E)^2}{E} X2∑E(A−E)2 不难发现这个统计量的含义简而言之就是自变量对因变量的相关性。
3.4.2.5 互信息法
经典的互信息也是评价定性自变量对定性因变量的相关性的互信息计算公式如下 I(X;Y)∑x∈X∑y∈Yp(x,y)logp(x,y)p(x)p(y)I(X;Y)\sum_{x\in X}\sum_{y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)} I(X;Y)x∈X∑y∈Y∑p(x,y)logp(x)p(y)p(x,y)
为了处理定量数据最大信息系数法被提出。
3.4.3 包裹式选择
1.相比于过滤式特征选择不考虑后续学习器包裹式特征选择直接把最终将要使用的学习器的性能作为特征子集的评价原则。其目的就是为给定学习器选择最有利于其性能、量身定做的特征子集。
优点是直接针对特定学习器进行优化考虑到特征之间的关联性因此通常包裹式特征选择比过滤式特征选择能训练得到一个更好性能的学习器缺点是由于特征选择过程需要多次训练学习器故计算开销要比过滤式特征选择要大得多。
2.LVW:Las Vegas Wrapper是一个典型的包裹式特征选择方法。它是Las Vegas method 框架下使用随机策略来进行子集搜索并以最终分类器的误差作为特征子集的评价标准。
3.由于 LVW 算法中每次特征子集评价都需要训练学习器计算开销很大因此它会设计一个停止条件控制参数 T。
但是如果初始特征数量很多、T 设置较大、以及每一轮训练的时间较长 则很可能算法运行很长时间都不会停止。即如果有运行时间限制则有可能给不出解。
5.递归特征消除法使用一个基模型来进行多轮训练每轮训练后消除若干权值系数的特征再基于新的特征集进行下一轮训练。
3.4.4 嵌入式选择
1.在过滤式和包裹式特征选择方法中特征选择过程与学习器训练过程有明显的分别。
嵌入式特征选择是将特征选择与学习器训练过程融为一体两者在同一个优化过程中完成的。即学习器训练过程中自动进行了特征选择。
常用的方法包括
利用正则化如L_1, L_2 范数主要应用于如线性回归、逻辑回归以及支持向量机(SVM)等算法使用决策树思想包括决策树、随机森林、Gradient Boosting 等。
2.引入 L_1 范数除了降低过拟合风险之外还有一个好处它求得的 w 会有较多的分量为零。即它更容易获得稀疏解。
于是基于 L_1 正则化的学习方法就是一种嵌入式特征选择方法其特征选择过程与学习器训练过程融为一体二者同时完成。
3.常见的嵌入式选择模型
在 Lasso 中λ 参数控制了稀疏性 如果 λ 越小则稀疏性越小被选择的特征越多相反 λ 越大则稀疏性越大被选择的特征越少 在 SVM 和 逻辑回归中参数 C 控制了稀疏性 如果 C 越小则稀疏性越大被选择的特征越少如果 C 越大 则稀疏性越小被选择的特征越多。
3.5 特征提取
特征提取一般是在特征选择之前它提取的对象是原始数据目的就是自动地构建新的特征将原始数据转换为一组具有明显物理意义比如 Gabor、几何特征、纹理特征或者统计意义的特征。
一般常用的方法包括降维PCA、ICA、LDA等、图像方面的SIFT、Gabor、HOG等、文本方面的词袋模型、词嵌入模型等这里简单介绍这几种方法的一些基本概念。
3.5.1 降维
1.PCA(Principal Component Analysis主成分分析)
PCA 是降维最经典的方法它旨在是找到数据中的主成分并利用这些主成分来表征原始数据从而达到降维的目的。
PCA 的思想是通过坐标轴转换寻找数据分布的最优子空间。
比如在三维空间中有一系列数据点它们分布在过原点的平面上如果采用自然坐标系的 xyz 三个轴表示数据需要三个维度但实际上这些数据点都在同一个二维平面上如果我们可以通过坐标轴转换使得数据所在平面和 xy 平面重合我们就可以通过新的 x’、y’ 轴来表示原始数据并且没有任何损失这就完成了降维的目的而且这两个新的轴就是我们需要找的主成分。
因此PCA 的解法一般分为以下几个步骤
对样本数据进行中心化处理求样本协方差矩阵对协方差矩阵进行特征值分解将特征值从大到小排列取特征值前 n 个最大的对应的特征向量 W1, W2, ..., Wn 这样将原来 m 维的样本降低到 n 维。
通过 PCA 就可以将方差较小的特征给抛弃这里特征向量可以理解为坐标转换中新坐标轴的方向特征值表示在对应特征向量上的方差特征值越大方差越大信息量也就越大。这也是为什么选择前 n 个最大的特征值对应的特征向量因为这些特征包含更多重要的信息。
PCA 是一种线性降维方法这也是它的一个局限性。不过也有很多解决方法比如采用核映射对 PCA 进行拓展得到核主成分分析(KPCA)或者是采用流形映射的降维方法比如等距映射、局部线性嵌入、拉普拉斯特征映射等对一些 PCA 效果不好的复杂数据集进行非线性降维操作。
2.LDA(Linear Discriminant Analysis线性判别分析)
LDA 是一种有监督学习算法相比较 PCA它考虑到数据的类别信息而 PCA 没有考虑只是将数据映射到方差比较大的方向上而已。
因为考虑数据类别信息所以 LDA 的目的不仅仅是降维还需要找到一个投影方向使得投影后的样本尽可能按照原始类别分开即寻找一个可以最大化类间距离以及最小化类内距离的方向。
LDA 的优点如下
相比较 PCALDA 更加擅长处理带有类别信息的数据线性模型对噪声的鲁棒性比较好LDA 是一种有效的降维方法。
相应的也有如下缺点
LDA 对数据的分布做出了很强的假设比如每个类别数据都是高斯分布、各个类的协方差相等。这些假设在实际中不一定完全满足。LDA 模型简单表达能力有一定局限性。但这可以通过引入核函数拓展 LDA 来处理分布比较复杂的数据。
3.ICA(Independent Component Analysis独立成分分析)
PCA特征转换降维提取的是不相关的部分ICA独立成分分析获得的是相互独立的属性。ICA算法本质寻找一个线性变换 z Wx使得 z 的各个特征分量之间的独立性最大。
通常先采用 PCA 对数据进行降维然后再用 ICA 来从多个维度分离出有用数据。PCA 是 ICA 的数据预处理方法。
具体可以查看知乎上的这个问题和回答独立成分分析 ( ICA ) 与主成分分析 ( PCA ) 的区别在哪里。
3.5.2 图像特征提取
图像的特征提取在深度学习火起来之前是有很多传统的特征提取方法比较常见的包括以下几种。
1.SIFT 特征
SIFT 是图像特征提取中非常广泛应用的特征。它包含以下几种优点
具有旋转、尺度、平移、视角及亮度不变性有利于对目标特征信息进行有效表达SIFT 特征对参数调整鲁棒性好可以根据场景需要调整适宜的特征点数量进行特征描述以便进行特征分析。
SIFT 对图像局部特征点的提取主要包括四个步骤
疑似特征点检测去除伪特征点特征点梯度与方向匹配特征描述向量的生成
SIFT 的缺点是不借助硬件加速或者专门的图像处理器很难实现。
2.SURF 特征
SURF 特征是对 SIFT 算法的改进降低了时间复杂度并且提高了鲁棒性。
它主要是简化了 SIFT 的一些运算如将 SIFT 中的高斯二阶微分的模型进行了简化使得卷积平滑操作仅需要转换成加减运算。并且最终生成的特征向量维度从 128 维减少为 64 维。
3.HOG 特征
方向梯度直方图(HOG)特征是 2005 年针对行人检测问题提出的直方图特征它通过计算和统计图像局部区域的梯度方向直方图来实现特征描述。
HOG 特征提取步骤如下
归一化处理。先将图像转为灰度图像再利用伽马校正实现。这一步骤是为了提高图像特征描述对光照及环境变化的鲁棒性降低图像局部的阴影、局部曝光过多和纹理失真尽可能抵制噪声干扰计算图像梯度统计梯度方向特征向量归一化为克服光照不均匀变化及前景与背景的对比差异需要对块内的特征向量进行归一化处理。生成特征向量。
4.LBP 特征
局部二值模式LBP是一种描述图像局部纹理的特征算子它具有旋转不变性和灰度不变性的优点。
LBP 特征描述的是一种灰度范围内的图像处理操作技术针对的是输入为 8 位或者 16 位的灰度图像。
LBP 特征通过对窗口中心点与邻域点的关系进行比较重新编码形成新特征以消除对外界场景对图像的影响因此一定程度上解决了复杂场景下光照变换特征描述问题。
根据窗口领域的不同分为两种经典 LBP 和圆形 LBP。前者的窗口是 3×3 的正方形窗口后者将窗口从正方形拓展为任意圆形领域。
更详细的可以参考这篇文章–图像特征检测描述(一):SIFT、SURF、ORB、HOG、LBP特征的原理概述及OpenCV代码实现
当然上述特征都是比较传统的图像特征提取方法了现在图像基本都直接利用 CNN卷积神经网络来进行特征提取以及分类。
3.5.3 文本特征提取
1.词袋模型
最基础的文本表示模型是词袋模型。
具体地说就是将整段文本以词为单位切分开然后每篇文章可以表示成一个长向量向量的每一个维度代表一个单词而该维度的权重反映了该单词在原来文章中的重要程度。
通常采用 TF-IDF 计算权重公式为 TF-IDF(t, d) TF(t,d) × IDF(t)
其中 TF(t, d) 表示单词 t 在文档 d 中出现的频率IDF(t) 是逆文档频率用来衡量单词 t 对表达语义所起的重要性其表示为 IDF(t)log文章总数包含单词t的文章总数1IDF(t)log\frac{文章总数}{包含单词 t 的文章总数1} IDF(t)log包含单词t的文章总数1文章总数 直观的解释就是如果这个单词在多篇文章都出现过那么它很可能是比较通用的词汇对于区分文章的贡献比较小自然其权重也就比较小即 IDF(t) 会比较小。
2.N-gram 模型
词袋模型是以单词为单位进行划分但有时候进行单词级别划分并不是很好的做法毕竟有的单词组合起来才是其要表达的含义比如说 natural language processing(自然语言处理)、computer vision(计算机视觉) 等。
因此可以将连续出现的 n 个词 (n N) 组成的词组(N-gram)作为一个单独的特征放到向量表示中构成了 N-gram 模型。
另外同一个词可能会有多种词性变化但却具有相同含义所以实际应用中还会对单词进行词干抽取(Word Stemming)处理即将不同词性的单词统一为同一词干的形式。
3.词嵌入模型
词嵌入是一类将词向量化的模型的统称核心思想是将每个词都映射成低维空间通常 K50~300 维上的一个稠密向量Dense Vector。
常用的词嵌入模型是 Word2Vec。它是一种底层的神经网络模型有两种网络结构分别是 CBOW(Continues Bag of Words) 和 Skip-gram。
CBOW 是根据上下文出现的词语预测当前词的生成概率Skip-gram 是根据当前词来预测上下文中各个词的生成概率。
词嵌入模型是将每个词都映射成一个 K 维的向量如果一篇文档有 N 个单词那么每篇文档就可以用一个 N×K 的矩阵进行表示但这种表示过于底层。实际应用中如果直接将该矩阵作为原文本的特征表示输入到模型中训练通常很难得到满意的结果一般还需要对该矩阵进行处理提取和构造更高层的特征。
深度学习模型的出现正好提供了一种自动进行特征工程的方法它的每个隐含层都相当于不同抽象层次的特征。卷积神经网络CNN)和循环神经网络RNN)在文本表示中都取得了很好的效果这是因为它们可以很好地对文本进行建模抽取出一些高层的语义特征。
3.5.4 特征提取和特征选择的区别
特征提取与特征选择都是为了从原始特征中找出最有效的特征。
它们之间的区别是特征提取强调通过特征转换的方式得到一组具有明显物理或统计意义的特征
而特征选择是从特征集合中挑选一组具有明显物理或统计意义的特征子集。
两者都能帮助减少特征的维度、数据冗余特征提取有时能发现更有意义的特征属性特征选择的过程经常能表示出每个特征的重要性对于模型构建的重要性。
3.6 特征构建
特征构建是指从原始数据中人工的构建新的特征。需要花时间去观察原始数据思考问题的潜在形式和数据结构对数据敏感性和机器学习实战经验能帮助特征构建。
特征构建需要很强的洞察力和分析能力要求我们能够从原始数据中找出一些具有物理意义的特征。假设原始数据是表格数据一般你可以使用混合属性或者组合属性来创建新的特征或是分解或切分原有的特征来创建新的特征。
特征构建非常需要相关的领域知识或者丰富的实践经验才能很好构建出更好的有用的新特征相比于特征提取特征提取是通过一些现成的特征提取方法来将原始数据进行特征转换而特征构建就需要我们自己人为的手工构建特征比如组合两个特征或者分解一个特征为多个新的特征。 小结
特征工程这个内容加上本文总共写了四篇文章从数据预处理处理缺失值、异常值类别不平衡和数据扩充问题到特征缩放、特征编码以及本文的特征选择、特征提取和特征构造基本包含了特征工程涉及的内容当然可能还有少数内容没有包含。
实际上是刚好对于《》第二章的总结涉及到特征工程内容打算好好做个总结没想到这部分内容真的不少而对于特征工程我的经验其实不算很丰富之前只是参加过一次比赛算是简单涉猎了其中的部分内容所以这几篇文章的内容主要都是整理收集网上文章的内容加上少部分个人的经验心得写作起来确实有些费劲很多内容都只能简单总结下基本概念和使用步骤但很难再深入介绍了。
所以推荐大家看完后可以找些实际的项目或者参加比赛在实践中运用特征工程的理论和方法会有更深的体会。
比赛的话最有名的就是 Kaggle国内的有天池、DataFountain等。
接下来会这个如何构建一个完整的机器学习项目就会进入算法模型选择和评估部分了这里我也打算先简单总结机器学习比较常用的经典算法。 参考
《百面机器学习》第一章 特征工程https://blog.csdn.net/dream_angel_z/article/details/49388733#commentBoxhttps://www.cnblogs.com/sherial/archive/2018/03/07/8522405.htmlhttps://gofisher.github.io/2018/06/22/数据预处理/https://gofisher.github.io/2018/06/20/数据探索/https://juejin.im/post/5b6a44f55188251aa8294b8chttps://www.zhihu.com/question/47716840http://www.huaxiaozhuan.com/统计学习/chapters/8_feature_selection.htmlScikit-learn介绍几种常用的特征选择方法](http://dataunion.org/14072.html)博客园–机器学习之特征工程机器学习中的数学(4)-线性判别分析LDA, 主成分分析(PCA)独立成分分析 ( ICA ) 与主成分分析 ( PCA ) 的区别在哪里图像特征检测描述(一):SIFT、SURF、ORB、HOG、LBP特征的原理概述及OpenCV代码实现 欢迎关注我的微信公众号–机器学习与计算机视觉或者扫描下方的二维码大家一起交流学习和进步 往期精彩推荐
机器学习系列
机器学习入门系列1–机器学习概览机器学习入门系列(2)–如何构建一个完整的机器学习项目(一)机器学习数据集的获取和测试集的构建方法特征工程之数据预处理上特征工程之数据预处理下特征工程之特征缩放特征编码
数学学习笔记
程序员的数学笔记1–进制转换程序员的数学笔记2–余数程序员的数学笔记3–迭代法
Github项目 资源教程推荐
[Github 项目推荐] 一个更好阅读和查找论文的网站[资源分享] TensorFlow 官方中文版教程来了必读的AI和深度学习博客[教程]一份简单易懂的 TensorFlow 教程[资源]推荐一些Python书籍和教程入门和进阶的都有
