挂机宝如何做网站,呼伦贝尔旅游网站建设,汉寿做网站的公司,如何建立网络平台摘要#xff1a; 深度学习简史深度学习简史从机器学习流派说起如果要给机器学习划分流派的话#xff0c;初步划分可以分为『归纳学习』和『统计学习』两大类。所谓『归纳学习』#xff0c;就跟我们平时学习所用的归纳法差不多#xff0c;也叫『从样例中学习』。归纳学习又分…摘要 深度学习简史
深度学习简史从机器学习流派说起如果要给机器学习划分流派的话初步划分可以分为『归纳学习』和『统计学习』两大类。所谓『归纳学习』就跟我们平时学习所用的归纳法差不多也叫『从样例中学习』。归纳学习又分为两大类一类是像我们归纳知识点一样把知识分解成一个一个的点然后进行学习。因为最终都要表示成符号所以也叫做『符号主义学习』另一类则另辟蹊径不关心知识是啥而是模拟人脑学习的过程人脑咋学咱们就照着学。这类思路模拟人的神经系统因为人的神经网络是连接在一起的所以也叫『连接主义学习』。『统计学习』则是上世经90年代才兴起的新学派。是一种应用数学和统计学方法进行学习的新思路。就是我既不关心学习的内容也不是模拟人脑而主要关心统计概率。这是一种脱离了主观基本全靠客观的方式。连接主义学派连接主义学派的初心是模拟人脑的学习方式。我们先从生理课的知识说起先看看人脑最基本的组成部分 - 神经元。如上图所示一个神经元由三个主要部分组成中间是细胞体细胞体周围有若干起接收信号作用的树突还有一条长长的轴突用于将信号传导给远处的其他细胞。神经细胞收到所有树突传来的信号之后细胞体会产生化学反应决定是否通过轴突输出给其他细胞。比如皮肤上的感觉细胞接受了刺激之后将信号传给附近的神经细胞的树突。达到一定强度之后神经细胞会通过轴突传递给下一个神经细胞一直传递到大脑。大脑做出反应之后再通过运动神经元的轴突去刺激肌肉去进行反应。这其中值得一提的是赫布理论。这是加拿大心理学家赫布在1949年出版的《行为组织学》中提出的其内容是如果一个神经元B在另一个神经元A的轴突附近并且受到了A的信号的激活那么A或B之一就会产生相应的增长变化使得这个连接被加强。这一理论一直到51年以后的2000年才由诺贝尔医学奖得主肯德尔的动物实验所证实。但是在被证实之前各种无监督机器学习算法其实都是赫布规则的一个变种。在被证明之前就被广泛使用了。M-P神经元模型在赫布原理提出6年前的1943年虽然这时候电子计算机还没有被发明出来距离我们的伟大偶像阿兰.图灵研究出来『图灵机测试』也还有3年时间有两位传奇人物麦卡洛可和皮茨就发表了用算法模拟神经网络的文章。那一年少年天才皮茨只有20岁皮茨同学是个苦出身15岁因为父亲让他退学他一怒之下离家出走。那时候他已经读完了罗素的《数学原理》这样一本大学教材。罗素后来把皮茨推荐给了著名哲学家维也纳学派的代表人物卡尔纳普。后面我们讲归纳学习和归纳逻辑时还会说过卡尔纳普。卡尔纳普就把自己的哲学著作《语言的逻辑句法》送给初中生皮茨看结果皮茨不过一个月就看完了。于是卡尔纳普惊为天人请皮茨到芝加哥大学。。。打扫厕所后来医生兼神经科学家麦卡洛可研究神经学需要一个懂数学的合作者于是就选了17岁的清洁工皮茨。后来他们成为控制论创始人维纳的学生。后来因为被造谣陷害皮茨跟维纳闹翻46岁就英年早逝了。神经网络的基础至今仍然是麦卡洛可和皮茨提出的模型简称M-P模型。感知机 - 人工神经网络的第一次高潮和低谷1954年IBM推出了IBM704计算机并且有Fortran这样的算法语言。4年后 1958年康奈尔大学实验心理学家弗兰克.罗森布拉特根据M-P模型实现了第一个人工神经网络模型-感知机。感知机的提出使人类有了第一种可以模拟人脑神经活动的模型迅速引起轰动。迎来了人工神经网络的第一个高潮。感知机的模型如下图所示感知机由三部分组成输入包括信号的输入强度和权值求和将输入求和激活函数根据求和的结果决定输出的值。感知机了不起的地方在于不需要任何先验知识只要能够用一条直线把要解决的问题分为两部分就可以区分。这种问题叫做线性可分问题。比如一些建筑在长安街以北一些在长安街以南感知机就能做到把这两部分建筑分开尽管感知器根本不知道长安街是什么东南西北是什么。如上图所示因为x和o可以找到一条直线分隔所以感知机模型可以解决它。而像下面这样红蓝点没法用一条直接分开的就没办法应用感知机来区分它。罗森布拉特比起少年扫地僧皮茨可是名校高材生。他所就读的纽约Bronx科学高中光诺贝尔奖获得者就有8个此外还有6个普利策奖。也是这所学校比他大一届的学长有个叫马文.明斯基的是人工智能的奠基人之一。正值感知器如日中天时明斯基出版了著名的《感知机》一书证明感知机连异或这种最基本的逻辑运算都无法解决。因为异或问题不是线性可分的需要两条直线才可以所以感知机模型确实解决不了。这一致命一击使得人工神经网络的第一次高潮迅速被打入低谷。不过值得一提的是。后来深度学习的发展跟模拟人的大脑越来越无关。学界认为不应该再叫『人工神经网络』不妨就叫多层感知机MLP好了。人工神经网络第二次高潮和低谷单独的感知机无法解决的问题是不是将多个感知机组合在一起就可以了呢是的。1974年哈佛大学学生保罗.沃波斯的博士论文提出了反向传播算法简称BP算法成功地解决了感知机不能实现异或的问题。实现的方法也基本上就是一条直线不够再加一条就好了。但是当时正是人工神经网络的第一次低谷中纵然你是哈佛大学高材生也无人问津。这一重要成果当时没有造成大的影响。在沃波斯的论文发表后10年后的1984年这一年乔布斯推出了著名的苹果第一代mac电脑加州理工学院的物理学家霍普菲尔德实现了他于两年前提出的一种循环神经网络模型。这个重要成果重新激发了大家对于人工神经网络的热情。两年后的1986年处于第二次人工神经网络热潮的学界再次重新发现了沃波斯提出过的BP算法。这更加促进了人工神经网络的发展。感知器的局限在于它只有两层小网络。而BP算法给创造更多层更大型的网络创造了可能。BP算法的基本思想是1.信号正向传播。2.误差反向传播给上层的每一个神经元。我们在第一讲构建过的无脑全连接网络就是这个时代的技术。我们再复习一下# 所有连接随机生成权值
def init_weights(shape):return tf.Variable(tf.random_normal(shape, stddev0.01))def model(X, w_h, w_o):h tf.nn.sigmoid(tf.matmul(X, w_h)) return tf.matmul(h, w_o) 这些跟人工神经网络相关的函数定义在tf.nn模块中包括激活函数和卷积等功能。通过BP算法成功将神经网络做到了5层。然而在超过5层时遇到了困难。这个困难困扰了研究者整整20年。这个困难主要有两方面第一方面随着层数的增多反馈的误差对上层的影响越来越小。第二方面层数增加之后很容易被训练到一个局部最优值而无法继续下去。遇到了这个困难之后大部分研究人员转而研究如何在少的层次上有所突破。正如我们前面所讲的机器学习的另一大流派『统计学习』正是在这个时代取得了突破性的进展其代表作是『支持向量机』-SVM。深度学习时代但是还是有极少数的研究人员在人工神经网络的第二次低潮中继续坐冷板凳研究。20年后的2006年加拿大学者杰弗里.辛顿Hinton提出了有效解决多层神经网络的训练方法。他的方法是将每一层都看成一个无监督学习的受限玻尔兹曼机进行预训练提取特征然后再采用BP算法进行训练。这样的话这些受限玻尔兹曼机就可以像搭积木一样搭得很高。这些由受限玻尔兹曼机搭起的网络叫做深度信念网络或者叫深层信念网络。这种采用深度信念网络的模型后来就叫做『深度学习』。当然Hinton也并不是在孤军奋战。他有位博士后高徒叫Yann Lecun。1989年BP算法重新发现后的第3年Lecun将BP算法成功应用在卷积神经网络CNN中。1998年经过十年努力Yann Lecun发明了LeNet。但是请注意这个时间点这时候还没到2006年Hinton改变世界的时候机器学习的王者是支持向量机SVM。但是机遇是留给有准备的人的。一方面CNN中的关键技术点ReLU和Dropout不断被解决另一方面大数据和云计算引发的计算能力的突破使得CNN可以使用更强大的计算能力来完成以前无法想象的任务。我们在第一讲曾经讲过将简单一个隐藏层的全连接网络使用ReLU和Dropout技术的例子def init_weights(shape):return tf.Variable(tf.random_normal(shape, stddev0.01))def model(X, w_h, w_h2, w_o, p_keep_input, p_keep_hidden): X tf.nn.dropout(X, p_keep_input)h tf.nn.relu(tf.matmul(X, w_h))h tf.nn.dropout(h, p_keep_hidden)h2 tf.nn.relu(tf.matmul(h, w_h2))h2 tf.nn.dropout(h2, p_keep_hidden)return tf.matmul(h2, w_o)Tensorflow在tf.nn模块中为我们封装好了ReLU和Dropout直接调用就行。2012年还是创造奇迹的Hinton和他的学生Alex Krizhevsky在LeNet基础上改进的AlexNet一举夺取ImageNet图像分类的冠军刷新了世界记录。促使卷积神经网络成为处理图像最有力的武器。AlexNet之所以有这样大的进步其主要原因有四种为了防止过拟合使用了Dropout和数据增强技术采用了非线性激活函数ReLU大数据量训练大数据时代的作用GPU训练加速硬件的进步下图是Alex网络的结构我们看下Tensorflow中对于AlexNet的参考实现的删节版def inference(images):parameters []# conv1with tf.name_scope(conv1) as scope:kernel tf.Variable(tf.truncated_normal([11, 11, 3, 64], dtypetf.float32,stddev1e-1), nameweights)conv tf.nn.conv2d(images, kernel, [1, 4, 4, 1], paddingSAME)biases tf.Variable(tf.constant(0.0, shape[64], dtypetf.float32),trainableTrue, namebiases)bias tf.nn.bias_add(conv, biases)conv1 tf.nn.relu(bias, namescope)parameters [kernel, biases]# lrn1with tf.name_scope(lrn1) as scope:lrn1 tf.nn.local_response_normalization(conv1,alpha1e-4,beta0.75,depth_radius2,bias2.0)# pool1pool1 tf.nn.max_pool(lrn1,ksize[1, 3, 3, 1],strides[1, 2, 2, 1],paddingVALID,namepool1)# conv2with tf.name_scope(conv2) as scope:kernel tf.Variable(tf.truncated_normal([5, 5, 64, 192], dtypetf.float32,stddev1e-1), nameweights)conv tf.nn.conv2d(pool1, kernel, [1, 1, 1, 1], paddingSAME)biases tf.Variable(tf.constant(0.0, shape[192], dtypetf.float32),trainableTrue, namebiases)bias tf.nn.bias_add(conv, biases)conv2 tf.nn.relu(bias, namescope)parameters [kernel, biases]# lrn2with tf.name_scope(lrn2) as scope:lrn2 tf.nn.local_response_normalization(conv2,alpha1e-4,beta0.75,depth_radius2,bias2.0)# pool2pool2 tf.nn.max_pool(lrn2,ksize[1, 3, 3, 1],strides[1, 2, 2, 1],paddingVALID,namepool2)# conv3with tf.name_scope(conv3) as scope:kernel tf.Variable(tf.truncated_normal([3, 3, 192, 384],dtypetf.float32,stddev1e-1), nameweights)conv tf.nn.conv2d(pool2, kernel, [1, 1, 1, 1], paddingSAME)biases tf.Variable(tf.constant(0.0, shape[384], dtypetf.float32),trainableTrue, namebiases)bias tf.nn.bias_add(conv, biases)conv3 tf.nn.relu(bias, namescope)parameters [kernel, biases]# conv4with tf.name_scope(conv4) as scope:kernel tf.Variable(tf.truncated_normal([3, 3, 384, 256],dtypetf.float32,stddev1e-1), nameweights)conv tf.nn.conv2d(conv3, kernel, [1, 1, 1, 1], paddingSAME)biases tf.Variable(tf.constant(0.0, shape[256], dtypetf.float32),trainableTrue, namebiases)bias tf.nn.bias_add(conv, biases)conv4 tf.nn.relu(bias, namescope)parameters [kernel, biases]# conv5with tf.name_scope(conv5) as scope:kernel tf.Variable(tf.truncated_normal([3, 3, 256, 256],dtypetf.float32,stddev1e-1), nameweights)conv tf.nn.conv2d(conv4, kernel, [1, 1, 1, 1], paddingSAME)biases tf.Variable(tf.constant(0.0, shape[256], dtypetf.float32),trainableTrue, namebiases)bias tf.nn.bias_add(conv, biases)conv5 tf.nn.relu(bias, namescope)parameters [kernel, biases]# pool5pool5 tf.nn.max_pool(conv5,ksize[1, 3, 3, 1],strides[1, 2, 2, 1],paddingVALID,namepool5)return pool5, parameters卷积神经网络是一种权值共享的网络这个特点使其模型的复杂度显著降低。那么什么是卷积呢卷积是泛函分析中的一种积分变换的数学方法通过两个函数来生成第三个函数表征两个函数经过翻转和平移的重叠部分的面积。在传统认别算法中我们需要对输入的数据进行特征提取和数据重建而卷积神经网络可以直接将图片做为网络的输入自动提取特征。它的优越特征在于对于图片的平移、比例缩放、倾斜等变形有非常好的适应性。这种技术简直就是为了图形和语音而生的。从此图片是正着放还是倒着放或者随便换个角度远点还是近点等再也不是问题使得识别率一下子显著提升到了可用的程度。DBN和CNN双剑合壁成功引发了图像和语音两个领域的革命。使得图像识别和语音识别技术迅速换代。不过问题还有一个自然语言处理和机器翻译。这也是个老大难问题了我们单纯想想就知道难度有多高。江山代有才人出当Yann LeCun发表他那篇著名的论文时文章第三作者叫做Yoshua Bengio。在神经网络低潮的90年代Hinton研究DBNLeCun研究CNN的时候Yoshua在研究循环神经网络RNN并且开启了神经网络研究自然语言处理的先河。后来RNN的改进模型长短期记忆模型LSTM成功解决了RNN梯度消失的问题从此成为自然语言处理和机器翻译中的利器。Hinton, Yann LeCun和Yoshua Bengio就是被国人称为『深度学习三巨头』的三位传奇人物。他们共同在神经网络第二次低潮的寒冬中坚持自己所坚信的方向最终一起改变了世界。深度学习小结对于多层感知机模型来说深度学习时代仍然沿用了BP网络时代发明的反向传播算法和梯度下降技术。CNN和RNN是目前使用最广泛的两项深度学习工具。作者lusing原文链接本文为云栖社区原创内容未经允许不得转载。
