玉树州公司网站建设,恩施网站开发,谷歌排名推广,电子商务网站建设与维护课程总结本文基于台大机器学习技法系列课程进行的笔记总结。 一、主要内容 topic 1 深度神经网络结构 从类神经网络结构中我们已经发现了神经网络中的每一层实际上都是对前一层进行的特征转换#xff0c;也就是特征抽取。一般的隐藏层#xff08;hidden layer#xff09;较少的类神… 本文基于台大机器学习技法系列课程进行的笔记总结。 一、主要内容 topic 1 深度神经网络结构 从类神经网络结构中我们已经发现了神经网络中的每一层实际上都是对前一层进行的特征转换也就是特征抽取。一般的隐藏层hidden layer较少的类神经网络结构我们称之为shallow而当隐藏层数比较多的类神经网络结构我们称之为deep。如下图所示 从两者的对比中可以明显发现随着类神经网络结构的层数逐渐变多由shallow转向deep训练的效率会下降结构变得复杂那么对应的能力powerful呢实际上shallow的类神经网络已经很强的powerful了那么多增加layer的目的到底是什么呢是如何的更加富有意义meaningful呢且往下看 图中所示的一个非常常见的问题识别手写体数字的模式识别问题。最原始的特征就是我们的原始数字化的图像raw featurespixels从pixels出发通过第一层的转换我们可以得到一些稍微复杂一点点的features笔画特征然后我们再由这些笔画特征开始输入到下一层中就可以得到更加抽象的认识特征将像素组合成笔画然后再由笔画的组成去构成对数字的认识进而识别数字。上图中可以看出数字1可以由第一层的左边三个笔画构成而数字5可以由第一层右边四个笔画构成从第一层到第二层链接权重红色表示抑制蓝色表示激励其实就是模仿人类神经元的工作机制最简单的模仿激励和抑制。那么这个手写体数字的模式识别问题就可以通过这一层一层的类神经网络结构得到解决。但是问题是类神经网络的结构如何确定模型复杂度如何评估会不会overfitting呢以及优化的方式和计算复杂度的评估呢且看下图总结 对于第一个问题如何确定类神经网络的结构可以通过domain knowledge来解决比如在图像处理中应用的卷积神经网络就是利用了像素在空间上的关系。 对于第二个问题我们知道一个非常经典的关系overfitting与模型复杂度、数据量、噪声的关系模型复杂度越大数据量越小噪声越大就越容易发生overfitting反之亦然。所以如果我们训练时候的数据量足够大就完全可以消弭由于模型复杂度带来的overfitting的风险。所以对于模型复杂度要保证足够大的数据量。当然另外一种我们最熟悉的用来抑制模型复杂度的工具就是regularization通过对噪声的容忍noise-tolerant对象不同可以有两种regularization的方式对网络节点退化可以容忍的dropout以及对输入数据退化可以容忍的denoising都表现在对噪声的抑制。所以第二个问题可以通过在数据量上的保证和对噪声的抑制来解决。 对于第三个问题deep learning的layer越多权重也就越多在进行优化的时候就更加容易出现局部最优因为变量多了想象一下似乎连绵起伏的山一样局部最优的情况也就更加容易发生。那么如果克服发生局部最优的优化问题呢?可以通过一个叫做pre-training的方法慎重的对权重进行初始化使得权重一开始就出现在全局最优的那个“山峰”上然后通过梯度下降或者随机梯度的方式往下滚直到全局最优。所以这个pre-training就可以克服局部最优的问题后面也将是我们讲解的一个重点。 对于第四个问题计算的复杂度是与deep learning的结构复杂度正相关的但是不用担心一个强有力的硬件支持或者架构支持已经被用来进行深度神经网络的训练和计算那就是GPU或FPGA这种可以进行大量的硬件上的并行计算的处理器。所以第四个问题只要通过选择专用的硬件平台就可以解决。 那么四个问题都加以了分析和解决我们下面的重点在于pre-training的机制如何获得较好的网络初始值呢 上图就是典型的深度神经网络的训练过程先通过pre-training进行网络参数的初始设置然后再通过第二步利用误差回传机制对网络参数进行调优fine-tune。 那么这个pre-training的具体是如何进行的呢实际上就是如上图所示每次只进行两层之间的参数训练确定之后再往其紧接着的上面两层参数进行训练就这样逐层的训练。那么训练的机制呢就是今天的第二个topicautoencoder自动编码器。 topic 2 自动编码器 那么我们看自动编码器是如何实现的。在这之前先说明一个概念information preserving就是信息保持我们在层与层之间的进行的特征转换实际上就是一个编码的过程那么一个好的编码就是能够做到information preserving。所以一个好的特征转换就是转换后的特征能够最大限度地保留原始信息而不至于使得信息变得面目全非。转换后的特征是raw features的一个好的representation。且看下图 我们还以原来的手写体数字的识别为例将原始特征raw featurespixels转换为笔画特征是一个好的特征转换吗能够保持原始信息吗那么如何衡量这个信息是不是丢失了呢自然而然就想到了我把数字1的转化成了笔画那么这些笔画能不能重新组合表示为数字1呢根据上面的介绍我们可以做到从1到笔画然后还可以从笔画再到1的过程。这就是很好的信息保持information preserving。那么根据这种由输入通过一层hidden layer然后再转变为输入的机制去评估信息保持的效果去衡量特征转化的品质。那么就得到以下的一个训练机制且看下图 这就是我们要将的pre-training的机制。由输入经编码权重得到原始数据的特征转换然后再由特征转换经解码权重得到原始数据的机制。整个映射实际上就是一个identity function因为输出输入嘛 那么实际上我们设计的这个训练过程能够应用到监督学习和非监督学习。对于监督学习我们可以用来学习数据的informative representationhidden layer的输出就是。对于非监督学习我们可以用来进行密度估计density estimation当g(x)≈x时的x处的密度更大还可以用来进行outlier检测那些g(x)与x相差远的x就可以作为outlier。那些g(x)≈x的隐藏层输出能够作为x的典型表示typical representation。 因此一个基本的autoencoder的完整流程就有了且看下图 因为上面解释的就比较多了下面就不再对这个流程进行详细说明。一个需要点出的就是使得编码权重Wij与解码权重Wji相等可以用来作为一种形式的regularization。而整个训练一层一层的进行实际上就是一个只有两层的类神经网络进行误差回传和梯度下降计算的复杂度都不会很大。 有了pre-training于是乎我们的deep learning的过程就变成了下图 上面讲完了通过pre-training得到较好的初始权重以便于整个deep learning能够在开始训练的时候就站在一个非常好的位置即在一定程度上避免由于模型结构复杂度导致的overfitting发生的风险。由此引出的autoencoder。 那么前面讲为了克服overfitting的风险还可以从另一个角度noise的角度出发。下面我们就进行denoising autoencoder的相关内容。 topic 3 去噪自动编码器 在类神经网络中其实已经介绍过一些用于regularization的方法比如通过限制模型输出的精度、权重的消减或者提前终止训练等那么下面介绍的是一种比较另类的regularization的方法。 上面说了基于消除噪声的方式一般直接的想法或者常用的是data cleaning/pruning那么我们这里介绍的也不是这种常规的方法而是一种反向思维的方式如果我直接往输入数据中加入人工的噪声呢会发生什么样的情况。这就是我们下面要探讨的去噪自动编码器。 这种往input中添加噪声的思维是以robustness健壮性出发的试想如果我加完噪声后的数据作为输入经过编码和解码后如果输出依然等于加入噪声前的数据这样的类神经网络结构是不是非常的稳健也就说抗干扰能力很强。基于此想法我们就得到denoising autoencoder的方法且看下图 所以输入时x人工噪声标签是x这样来对网络进行训练这样的神经网络结构自然就具备了denosing的效果。 topic 4 线性自动编码器与主成分分析 所以前面讲的都是直接基于非线性映射的结构而一般上我们常常是先通过线性的解释然后再拓展至非线性。那么我们看看线性自动编码器是怎样的看下图 我们依然通过平方误差进行推导推导过程见下图总之就是一堆矩阵的运算如果学过矩阵分析课程看起来并不复杂实际上就是进行谱分解看不懂也没关系只要知道处理过程就好求输入矩阵的最大特征值和其对应的特征向量实际上这也是PCA处理的过程PCA基于matlab的代码链接小弟资源分不够求个资源分勿怪。 那么实际上linear 的autoencoder实际上与主成分分析是非常相近的只不过主成分分析具有统计学的说明。进行特征转换后的方差要大。我们把数据进行零均值化作为autoencoder的输入结果就跟PCA一样了。具体的关系可以看下图说明 ************************************************************************************************************************************* 通过以上的介绍相信对整个deep learning的架构有了一定认识当然这里面介绍的大部分都是入门级的知识不过有了一个guideline之后再去对更加细节的设计方法进行学习时就能有更加宏观方向的把握。 转载于:https://www.cnblogs.com/huty/p/8519323.html
