用dw做的网站怎么发布到网上,有哪些网站是可以做会计题目的,网站维护花费,北京网站公司哪家好在用caffe实现对MNIST手写数字分类的过程中发现利用的网络是LetNet-5.决定从这个网络入手好好认识一下CNN。
LeNet-5早在1998年就出现了#xff08;5表示5层模型#xff09;#xff0c;标志着CNN的诞生。以其作者YannLeCun的名字命名。但是却没有得到广泛的应用#xff0c;…在用caffe实现对MNIST手写数字分类的过程中发现利用的网络是LetNet-5.决定从这个网络入手好好认识一下CNN。
LeNet-5早在1998年就出现了5表示5层模型标志着CNN的诞生。以其作者YannLeCun的名字命名。但是却没有得到广泛的应用原因一个是对机器要求高当时没有GPU一个是因为其他算法SVM老实说是你干的吧也能达到类似的效果甚至超过。之后的模型还有AlexNet以人的名字命名、VGG以机构名命名、GoogleNet机构名命名、ResNet以核心算法命名。既然都是千年的狐狸神经网络比的就是谁的模型更好可以更好地模拟人脑认知的过程。而之后出现的R-CNN使用了AlexNetFast R-CNN等就好比是《聊斋》是一套方法重要的是把故事讲好。看《聊斋》的书哪只狐狸什么样子当然无所谓但是如果是看电影那么扮演狐狸的演员她对狐狸的把握、还原就至关重要了。至于Caffe、TensorFlow、Torch等深度学习框架仅仅是一个工具就像是写作的笔没有马良的笔那么神奇但也都足够我们用来书写自己的故事。
胡乱比喻了一下不至于把他们混淆。下来好好认识一下这个LeNet-5网络及CNN。我准备从三个角度介绍一下LeNet-5网络。先是侧重每部分的作用整体把握一下网络的思路。然后从连接的角度层与层之间在数学上的关系。最后对CNN中特有的几个概念做一下解读。
一
既然说是5层网络那么我们看一看到底是哪5层。看来看去发现是7层算上输出层不算输入层。就拿论文中的插图来看上图的顶部是每层的名字。看来作者认为是6层。。
INPUT输入图像是32x32对比之下MNIST输入的图像是28x28的。
C1C意味着这是一个卷积层。在这一层我们将得到feature map。卷积应该不是一个陌生的概念在图像处理中简单来说就是旋转180度之后卷积核和图像对应像素加权求和。卷积之后的图像是一个“响应”如果是边缘检测算子那么得到的响应就是图像的边缘现在我们只知道我们希望得到的响应是feature map得到输入图像的特征但是不知道的是卷积核的参数权重所以我们需要一个网络来训练它。
这一层卷积核的大小是5x5.卷积核滑动一行之后得到的结果的边长变为32-51得到的feature map大小是28x28.有6个不同的卷积核希望从不同的角度得到图像的特征。所以待定参数是5x51*6156。刚才讲到参数要由网络求得网络的层与层之间是通过feature map连接的。得到的28x28的feature map的每一个像素对应5x51个权值这有点像MIMO所以这里的连接个数是28x28x156122304个。
S2S指的是Subsamples这层经过下采样得到的也是featuremap。下采样的作用是减少计算量同时保留有用的信息。但是这里的下采样和普通的不一样不是插值的方法而是用一种叫池化的方法。就是把一幅图像分割成几个块每个块的输出是这个块原有像素的统计结果可以是最大值那就是最大值池化Max_pooling如果是均值那就是均值池化Mean_Pooling。
这一层池的大小是2x2.所以最后得到6个14x14的feature map。和卷积层的连接数的计算方法一样连接数参数个数*feature map大小2x21x6x14x145880
C3这一层还是卷积层。卷积核大小还是5x5.但是有16个14-51x14-5110x10的fea map。所以得到16个这个层除了要对下采样得到的feature map再进行一次卷积还有一个问题值得注意。既然有16个卷积核那么对每一幅feature map就可以得到16个全新的总共可以得到16x6个feature map但是这里得到的正好是16个feature map所以其实在卷积之前对池化后的feature map进行了组合得到了16个新的图像每个图像对应一个特有的卷积核最终得到16个f.map。所以现在的问题就是如何对6个feature map排列组合得到16个新图像。论文中给出了一种组合方式部分连接一共6行10列每列的X表示C3中的一个feature map与S2中的feature map的连接情况。可以看到C3一共有6个与3个S2中的feature map连接有9个是4连接有一个是全连接。参数数目(5x5x31)x6(5x5x41)x95x5x611516.这里得到的每一个feature map其实是多核多通道卷积。把每一列叫作一个卷积核它由若干个卷积模板构成。因为是多个卷积核模板卷积的结果得到一个feature map仍然认为是一个卷积核所以每列只有一个偏置参数。所以连接的数目1516x10x10151600.
S4也是下采样层得到16个5x5的feature map。连接数2x21x5x5x162000.
C5又一个卷积层。注意到它与S4是Fullconnection因为卷积核大小依然是5x5正好与S4得到的feature map大小一样得到的feature map就是1x1大小的时刻注意连接指的是feature map之间的连接。还注意到这里的示意图是带状了这是因为feature map到这里太多了有多少呢有120个。如果用类似上图的矩阵表示那就是16x120的全1矩阵。
F6只有86个神经元继续降低特征的维数。采用了正切函数。连接数86x120110164.
完全连接层就是传统的多层感知机。使用softmax连接函数输出的概率和为1.
最终经过高斯连接得到10维的输出。输出层采用了RBF径向欧式距离函数。计算输入向量和参数向量的欧式距离。卷积神经网络在本质上是一种输入到输出的映射它能够学习大量的输入与输出之间的映射关系而不需要任何输入与输出之间的精确的数学表达式只要用已知的模式对卷积神经网络加以训练网络就具有输入与输出之间的映射能力。卷积网络是有监督学习所以它的样本集都形如输入向量理想输出向量之类的向量对构成。在训练之前所有权值都用一些不同的小随机数进行初始化小的随机数可以保证网络不会因权值太大而进入饱和状态从而导致训练失败。不同则保证网络可以正常学习。
如果要是用相同的数去初始化矩阵网络会没有学习的能力。
关于偏置和激活
卷积、池化其实不是简单的加权求和、统计最大值/均值。首先它们都会加一个偏置系数。池化的连接处还有一个激活函数这同样是模仿人的神经系统因为刺激达到一定程度神经元才会做出反应而反应又可分为刺激正和抑制负。激活函数的选取也很重要可选择的有sigmoid函数、tanh双曲正切函数、ReLU函数。前两个函数是饱和的。现在一般使用ReLu作为激活函数虽然sigmoid的求导形式优美f’(x)f(x)(1-f(x)可以加速收敛。
参考6提到卷积之后也会加ReLU函数。ReLU 是一个针对元素的操作应用于每个像素并将特征映射中的所有负像素值替换为零。ReLU 的目的是在卷积神经网络中引入非线性因素因为在实际生活中我们想要用神经网络学习的数据大多数都是非线性的卷积是一个线性运算关于C3的部分连接
C3中的每一个Feature Map连接到S2的所有6个Feature Map或者是几个Feature Map。表示本层的Feature Map是上一层提取的Feature Map的不同组合。为什么不把S2的每一个Feature Map连接到S3的每一个Feature Map中原因有2 第一不完全连接机制连接的数量保持在合理范围第二这样破坏了网络的对称性由于不同的Feature Map有不同的输入所以迫使他们抽取不同的特征理想状态特征互补。
关于连接数的计算
上文中提到连接数参数个数*featuremap大小但是以C2为例不同的feature map是由不同的卷积核得到的所以有一些连接对是没有联系的。为什么也要将他们连接起来呢我的思考是虽然他们没有因果关系但是因为我们的目的是在构建网络之后训练得到网络的参数所以除了前向传播通过损失函数得到损失我们还需要向后传播梯度信息更新权重。反向传播的过程中已经得到的某个feature map当然可以推算对应的卷积核但是对其他的卷积核也有启示作用因为我们是基于局部感知的每个神经元只负责对图像某一部分这里的某一部分我觉得指的不是图像的空域部分而是图像的某一种特征如颜色或者边缘信息然后在更高的层次进行组合得到全局的更加完整的感知。这也解释了为什么C3部分连接组合也可以解释为什么一开始选择用6个卷积核。关于池化的作用
池化的作用是逐步减少输入的空间大小[4]。具体来说有以下四点
使输入特征维度更小更易于管理
减少网络中的参数和运算次数因此可以控制过拟合 [4]
使网络对输入图像微小的变换、失真和平移更加稳健输入图片小幅度的失真不会改池化的输出结果 —— 因为我们取了邻域的最大值/平均值。
可以得到尺度几乎不变的图像确切的术语是“等变”。这是非常有用的这样无论图片中的物体位于何处我们都可以检测到详情参阅[18]和[19]Reference:
1.1998论文http://pdfs.semanticscholar.org/162d/958ff885f1462aeda91cd72582323fd6a1f4.pdf
2.SVM干的https://www.cnblogs.com/alexanderkun/p/6923064.html
3.https://blog.csdn.net/genius_zz/article/details/52804585
4.https://www.cnblogs.com/ranjiewen/articles/7467600.html
5.诺贝尔医学奖可视皮层是分级的https://www.cnblogs.com/alexcai/p/5506806.html
6.http://www.mamicode.com/info-detail-2310074.html
