app开发必须要网站吗,百度站长平台工具,做一个小游戏要多少钱,wordpress列表缩略图本文讲的是史上最好记的神经网络结构速记表#xff08;上#xff09;#xff0c;新的神经网络结构不断涌现#xff0c;我们很难一一掌握。哪怕一开始只是记住所有的简称#xff08; DCIGN#xff0c;BiLSTM#xff0c;DCGAN #xff09;#xff0c;也会让同学们吃不消… 本文讲的是史上最好记的神经网络结构速记表上 新的神经网络结构不断涌现我们很难一一掌握。哪怕一开始只是记住所有的简称 DCIGNBiLSTMDCGAN 也会让同学们吃不消。 所以我决定写篇文章归纳归纳各种神经网络结构。它们大部分都是神经网络也有一些是完全不同的结构。虽然所有结构说起来都是新颖而独特的但当我画出结点的结构图时……它们之间的内在联系显得更有意思。 总表 当我们在画节点图的时候发现了一个问题这些图并没有展示出来这些神经结构是怎么使用的。 打个比方变分自编码器 VAE 看起来跟自编码器 AE 真的差不多但它们的训练过程却相差很远。在使用训练好的网络时更为不同因为 VAE 是生成器是通过添加噪音来获得新样本的。而 AE 只是简单地通过搜索记忆找到与输入最接近的训练样本。 我需要强调的是这个图并不能反映不同节点结构内部是如何运作的这已经不是今天的话题了。 需要注意的是虽然我们使用的大部分简称是被普遍接受的仍有一些并非如此。RNN 有的时候指的是递归神经网络 recursive neural networks 但大部分时候指的是循环神经网络 recurrent neural networks 。有时能看到 RNN 会被用来代表任何循环结构包括 LSTM GRU 甚至是双向网络的变型。 AE 偶尔也有类似的问题 VAE 和DAE 有时也被称为 AE 。许多简称在末尾的 N 的数量上有区别因为你可以管卷积神经网络 convolutional neural network 叫成卷积网络 convolutional network 就会形成两种简称 CNN 和 CN 。 因为新的网络一直在不断地出现构建一张完整的列表实际上是不可能的。就算是有这么一张表格你在表格里找某一个也相当吃力有时你会忽视掉一部分。所以虽然这张列表或许可以为你打开人工智能世界的大门 但决不能认为这张表格列出了所有的结构特别是当这篇文章写完很久之后你才读到它。 对每个图片里的结构我都写了一个非常非常简短的说明。如果你对某类结构很熟悉但对具体某个结构不熟的话你可能会觉得这些说明挺有用的。 1 前馈神经网络 FF 或 FFNN 和感知机 P 十分直接信息从前端一路传递到后端从输入到输出。神经网络通常有层的概念每层可能是输入单元隐藏单元或者输出单元组成。单个层内没有连接通常是两个相邻的层之间全连接一层的所有神经元都和另一层的所有神经元互相连接。 最简单但有效的神经网络有两个输入单元一个输出单元可以用于构建逻辑门。通常给网络的是成对的信息输入和我们希望的输出用反向传播来训练 FFNN 。这种叫做监督学习和无监督学习相反无监督学习是我们只给网络输入让网络自己填补空缺。反向传播的误差通常是模型给定的输出和应该的输出之间的差距的某种变型比如说 MSE 或者就是线性的做差。如果网络有足够多的隐藏神经元理论上它总可以给出输入和输出之间的关系建模。实际运用它们中有一定的局限性但经常和其他网络组合起来构成新的网络。 Rosenblatt, Frank. “The perceptron: a probabilistic model for information storage and organization in the brain.” Psychological review 65.6 (1958): 386. 2 径向基函数 RBF 网络是 FFNN 网络附上径向基函数作为激活函数。就只是这样而已。我不是说它没什么用而是大部分用其他激活函数的 FFNN 没有专用的名字。 这个有名字主要只是因为它恰巧在对的时间被发现了。 Broomhead, David S., and David Lowe. Radial basis functions, multi-variable functional interpolation and adaptive networks. No. RSRE-MEMO-4148. ROYAL SIGNALS AND RADAR ESTABLISHMENT MALVERN (UNITED KINGDOM), 1988. 3 Hopfield 网络 HN 是一个每个神经元都和其他的神经元互相连接的网络 它就是一盘彻底纠缠在一起的意大利面每个节点也是如此。每个节点既是训练前的输入又是训练中的隐藏节点还是最后的输出。网络中的训练过程先计算出权重然后每个神经元设置成我们想要的值。这个值将不再变动。一旦训练了一种或多种模式网络最终会收敛到某个学习好的模式因为网络只在这些状态上稳定。 请注意网络不一定符合想要的结果。可惜它并不是一个有魔法的黑箱子它能够稳定部分源于网络的总能量或是随着训练逐渐降低的温度。每个神经元有一个对应于温度的激活阈值如果输入的值加起来的和超过了这个阈值神经元就会返回两个状态之一通常是 -1 或 1 有时是 0 或 1 。网络的更新可以同步完成更通常的做法是一个一个更新参数。如果一个一个更新的话会产生一个公平随机的序列来决定单元更新的顺序公平随机指的是一共 n 个选项一个个地更新一共循环 n 次。 所以你可以说当每个单元都更新过而且每个都不变了这个网络稳定退火了完成了收敛。这个网络通常被称为联想记忆因为它能够收敛到和输入最相近的状态。如果人们能看到一半的桌子我们能想出另一半桌子同样地这个网络也会由残缺的半个桌子和一些噪音收敛到一个完整的桌子。 Hopfield, John J. “Neural networks and physical systems with emergent collective computational abilities.” Proceedings of the national academy of sciences 79.8 (1982): 2554-2558. 4 马尔可夫链 MC 或离散时间马尔可夫链 DTMC 是 BM 和 HN 的前身。它可以这样理解从我在的节点到达我周围的节点的概率是多少它们是无记忆的这就是马尔可夫性质这意味着下一状态转移到哪里完全依赖于上一个状态。这不能算是一个神经网络但是有一点类似神经网络而且是 BM 和 HN 的理论基础。 MC 通常我们认为它不是一个神经网络 BMRBMHN 也是。马尔可夫链不一定是全连接的。 Hayes, Brian. “First links in the Markov chain.” American Scientist 101.2 (2013): 252. 5 玻尔兹曼机 BM 和 HN 非常相似但有些神经元被标注为输入神经元其他的仍然是隐藏的。这些输入神经元在完成了整个网络更新后会成为输出神经元。它从随机权重开始通过反向传播学习最近也会使用对比散度一个用来决定两个信息增益之间梯度的马尔科夫链学习。对比 HN 神经元通常有二元激活模式。由于使用 MC 训练BM 是一个随机网络。 BM 的训练和使用和 HN 很相似把输入神经元设到箝位值然后这个网络就自由了不用外力了。这些单元在自由之后可以取任何值我们在输入神经元和隐藏神经元间而反复迭代。激活模式是由全局温度控制的更低的全局温度会降低单元的能量并令激活模式稳定下来。网络会在合适的温度下达到平衡点。 Hinton, Geoffrey E., and Terrence J. Sejnowski. “Learning and releaming in Boltzmann machines.” Parallel distributed processing: Explorations in the microstructure of cognition 1 (1986): 282-317. 6 限制玻尔兹曼机 RBM 和 BM 非常类似惊不惊喜所以也和 HN 类似。RBM 和 BM最大的区别是 RBM 更利于使用因为它是受限制的。它们不是每个神经元都和其他相连而是每个组的神经元和别的组的神经元连接所以没有输入神经元直接连接到其他输入神经元也没有隐藏神经元连接到其他隐藏神经元。 RBM 可以类似于 FFNN 的训练方式来训练但要做一点点改变不是把信息从头传到末再反向传播误差而是先把信息从头传到末再把信息反向传回到第一层。然后接着开始用前向和反向传播来训练。 Smolensky, Paul. Information processing in dynamical systems: Foundations of harmony theory. No. CU-CS-321-86. COLORADO UNIV AT BOULDER DEPT OF COMPUTER SCIENCE, 1986. 7 自编码 AE 有一点类似 FFNN 因为 AE 更像是一个 FFNN 的别的用法而不是一个完全新的结构。自编码的基本思想是对信息自动地编码像是压缩但不是加密由此得名。整个网络的形状像一个沙漏隐藏层比输入层和输出层都小。 AE 通常是关于中间层一层或两层因为层数可以是奇数或偶数对称的。最小的一层通常在最中间这里是信息最为压缩的地方网络的阻塞点。中间层的上方都称为编码区下方都称为解码区中间意不意外称为编码。我们可以给定输入误差设置为输入和输出的差异并用反向传播误差来训练网络。 AE 可以设计成对称的权重结构这样编码权重和解码权重就一样了。 Bourlard, Hervé, and Yves Kamp. “Auto-association by multilayer perceptrons and singular value decomposition.” Biological cybernetics 59.4-5 (1988): 291-294. 8 稀疏自编码 SAE 某种程度上是 AE 的反面。我们并不是教网络把一堆信息用更少的空间或者节点表示而是试图把信息编码到更大的空间中。所以我们并不把网络在中间收缩再放大到输入的规模反而是把中间层的规模扩大。这种网络可以用来在数据集中提取许多小特征。 如果我们用训练 AE 的方式训练 SAE 的话那大概率我们会得到一个完全没用的恒等网络 进去什么样出来还是什么样什么转换函数或者分解都没有。为了防止这种情况发生我们不反馈输入而是反馈输入加稀疏驱动器。这个稀疏驱动器是一种阈值过滤器只能让某个特定的误差回传参与到训练中其他的误差都是无关的并被置为 0 。这样它就模拟了脉冲神经网络不是所有的神经元都一起激活具有生物合理性。 Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra, and Yann LeCun. “Efficient learning of sparse representations with an energy-based model.” Proceedings of NIPS. 2007. 9 变分自编码器 VAE 和 AE 有一样的结构 但被教授了一些别的东西一个近似输入样本的概率分布。有一点不忘初心的意思它和 BM 和 RBM 联系更紧密。但它总归还是基于贝叶斯模型作为概率推断和独立性以及重新参数化的技巧来完成不一样的表征。概率推断和独立性的部分解释起来挺直观但它们其实是基于复杂的数学。 这些基础可以这样理解把影响考虑进来。如果一件事在某个地方发生了另一件事在另一个地方发生它们不一定相关的。如果它们不相关那么误差传播应该考虑到这一点。这是一个很有用的方法因为神经网络某种程度上来说是一个很大的图模型所以这个方法可以帮助我们排除某些节点对其他节点的影响帮助我们深入更深的层。 Kingma, Diederik P., and Max Welling. “Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114 (2013). 10 去噪自编码器 DAE 是一个 AE 但我们不只给它输入信息而给它带有噪声的比如把图片调成更有颗粒感信息输入。我们有一样计算误差但网络的输出和原有的不带噪声的输入进行比较。这样有利于网络不拘泥于学习细节而是学习一些更广泛的特征因为小的特征往往是错的会随着噪音经常变动。 Vincent, Pascal, et al. “Extracting and composing robust features with denoising autoencoders.” Proceedings of the 25th international conference on Machine learning. ACM, 2008. 11 深度信念网络 DBN 是一个堆叠的结构往往是 RBM 或是 VAE 堆叠起来的。这个网络被证实能够逐层地有效地训练每个 AE 或 RBM 只要学会对前一层的网络进行编码。这个技巧也称为贪心训练贪心意味着对于局部最优解决方案找到了一个不错的解但不一定是最优解。 DBN 可以通过对比散度或是反向传播来训练学习用概率模型的方式表征数据就像普通的 RBM 或是 VAE 。一旦非监督学习训练或者收敛到一个比较稳定的状态这个模型可以用来生成新的数据。如果是使用对比散度来训练的那这个网络甚至还可以用来对已有的数据进行分类因为神经元被训练于寻找不同的数据特征。 Bengio, Yoshua, et al. “Greedy layer-wise training of deep networks.” Advances in neural information processing systems 19 (2007): 153. 12 卷积神经网络 CNN 或深度卷及神经网络 DCNN 和其他大部分网络很不一样。它们最初是用来处理图像的但现在也被用来处理其他形式的输入比如说音频。 CNN 的一种典型的用途是给网络输入图片让网络来分类这些数据比如说当我们给它一张猫的图片网络输出 “猫”当我们给出一张狗的图片网络输出“狗”。 CNN 通常由一个输入“扫描仪”开始而不是一次性分析全部的输入。打个比方我们输入一张 200 x 200 像素的图片我们并不想要一层 40000 个节点的一层相反我们创建一个 20 x 20 的输入扫描仪层就是说从一开始的 20 x 20 个像素点进行输入通常是图片的左上角。 当我们把这个输入完成后有可能是用于训练我们输入下一个 20 x 20 个像素我们把这个扫描仪往右平移一个像素。注意到我们并不把一下子平移 20 个像素或者扫描仪的宽度我们并不把图片拆解成 20 x 20 的块而是一点点地爬过去。输入数据被送入卷积层而不是普通的层卷积层里面的节点不是和其他所有节点相连接的。 每个节点只关注与自身和周边的节点多近的周边取决于具体实现但通常不会很多。卷积层往往会随着层次更深而收缩大部分是按照可以整除输入层大小的倍数收缩比如说 20 后面的层可能是 10 接下来是 5。2 的幂次更为常用因为它们可以被整除干净32168421。除开卷积层网络里常常还有池化层。池化是一种过滤掉细节的方法一种常见的池化技巧是最大池化比如我们取 2 x 2 的像素传递出的是红色值最大的像素点。 把 CNN 用在音频上我们通常输入音频波形一片段一片段地缓慢移动音频片段。CNN 的实际实现往往在网络末端加上一个 FFNN 用于进一步处理信息这样可以加入一些高度非线性的抽象。这种网络被称为 DCNN 但这两个名字和简称往往可以混用。 LeCun, Yann, et al. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE 86.11 (1998): 2278-2324. 欢迎关注雷锋网雷锋字幕组专栏获得更多AI知识~感谢雷锋网(公众号雷锋网)雷锋字幕组志愿者对本期内容作出贡献。 雷锋网原创文章未经授权禁止转载。详情见转载须知。 本文作者雷锋字幕组 本文转自雷锋网禁止二次转载原文链接
