如何网站建设公司,缙云 网站建设,禹城有做网站,网站建设价格方案鱼羊 假装发自 凹非寺量子位 报道 | 公众号 QbitAI只要网络足够宽#xff0c;深度学习动态就能大大简化#xff0c;并且更易于理解。最近的许多研究结果表明#xff0c;无限宽度的DNN会收敛成一类更为简单的模型#xff0c;称为高斯过程#xff08;Gaussian processes深度学习动态就能大大简化并且更易于理解。最近的许多研究结果表明无限宽度的DNN会收敛成一类更为简单的模型称为高斯过程Gaussian processes。于是复杂的现象可以被归结为简单的线性代数方程以了解AI到底是怎样工作的。所谓的无限宽度(infinite width)指的是完全连接层中的隐藏单元数或卷积层中的通道数量有无穷多。但是问题来了推导有限网络的无限宽度限制需要大量的数学知识并且必须针对不同研究的体系结构分别进行计算。对工程技术水平的要求也很高。谷歌最新开源的 Neural Tangents旨在解决这个问题让研究人员能够轻松建立、训练无限宽神经网络。甚至只需要5行代码就能够打造一个无限宽神经网络模型。这一研究成果已经中了ICLR 2020。戳进文末Colab链接即可在线试玩。开箱即用5行代码打造无限宽神经网络模型Neural Tangents 是一个高级神经网络 API可用于指定复杂、分层的神经网络在 CPU/GPU/TPU 上开箱即用。该库用 JAX编写既可以构建有限宽度神经网络亦可轻松创建和训练无限宽度神经网络。有什么用呢举个例子你需要训练一个完全连接神经网络。通常神经网络是随机初始化的然后采用梯度下降进行训练。研究人员通过对一组神经网络中不同成员的预测取均值来提升模型的性能。另外每个成员预测中的方差可以用来估计不确定性。如此一来就需要大量的计算预算。但当神经网络变得无限宽时网络集合就可以用高斯过程来描述其均值和方差可以在整个训练过程中进行计算。而使用 Neural Tangents 仅需5行代码就能完成对无限宽网络集合的构造和训练。from neural_tangents import predict, staxinit_fn, apply_fn, kernel_fn stax.serial(stax.Dense(2048, W_std1.5, b_std0.05), stax.Erf(),stax.Dense(2048, W_std1.5, b_std0.05), stax.Erf(),stax.Dense(1, W_std1.5, b_std0.05))y_mean, y_var predict.gp_inference(kernel_fn, x_train, y_train, x_test, ‘ntk’, diag_reg1e-4, compute_covTrue)上图中左图为训练过程中输出f随输入数据x的变化右图为训练过程中的不确定性训练、测试损失。将有限神经网络的集合训练和相同体系结构的无限宽度神经网络集合进行比较研究人员发现使用无限宽模型的精确推理与使用梯度下降训练整体模型的结果之间具有良好的一致性。这说明了无限宽神经网络捕捉训练动态的能力。不仅如此常规神经网络可以解决的问题Neural Tangents 构建的网络亦不在话下。研究人员在 CIFAR-10 数据集的图像识别任务上比较了 3 种不同架构的无限宽神经网络。可以看到无限宽网络模拟有限神经网络遵循相似的性能层次结构其全连接网络的性能比卷积网络差而卷积网络的性能又比宽残余网络差。但是与常规训练不同这些模型的学习动力在封闭形式下是易于控制的也就是说可以用前所未有的视角去观察其行为。对于深入理解机器学习机制来说该研究也提供了一种新思路。谷歌表示这将有助于“打开机器学习的黑匣子”。传送门论文地址https://arxiv.org/abs/1912.02803谷歌博客https://ai.googleblog.com/2020/03/fast-and-easy-infinitely-wide-networks.htmlGitHub地址https://github.com/google/neural-tangentsColab地址https://colab.research.google.com/github/google/neural-tangents/blob/master/notebooks/neural_tangents_cookbook.ipynb—完—量子位 · 追踪AI技术和产品新动态深有感触的朋友欢迎赞同、关注、分享三连վᴗ ի ❤
