宁波网站设计推荐荣盛网络,中国百强城市榜单公布,seo网络推广有哪些,长春如何建立一个平台网站来源#xff1a;大数据文摘备受瞩目的NeurlPS 2019周日一早在温哥华拉开序幕#xff0c;今天#xff0c;组委会通过一篇博客公布了包括杰出论文奖、杰出新方向论文奖等五大类奖项。NeurIPS#xff0c;全称神经信息处理系统大会(Conference and Workshop on Neural Informat… 来源大数据文摘备受瞩目的NeurlPS 2019周日一早在温哥华拉开序幕今天组委会通过一篇博客公布了包括杰出论文奖、杰出新方向论文奖等五大类奖项。NeurIPS全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems自1987年诞生至今已有32年的历史一直以来备受学术界和产业界的高度关注。NeurIPS为人工智能领域的A类会议同时也是人工智能领域最富盛名的年度会议之一。据官方消息今年NeurIPS会议的论文投稿量再创造新高共收到6743篇投稿最终录取1428篇论文36篇oral录取率为21.2%。今年的参会人数也再创新高参会总人数已经突破了13000人相比去年参会的9000人增加了近一半。由于报名人数过多。今年大会组织者甚至更改了抢票规则将“先到先得”原则更改为“抽奖”原则。正如NeurIPS在公告中所说用新规则抢票的NeurIPS 2019可以在一定程度上避免时区问题。今年开幕式的注册长队图HooraRM NeurIPS2019而如此高的投稿率和参会率也能从侧面反应了人工智能研究的火爆程度只增不减。今年的参会纪念马克杯如此庞大的投稿量组委会再审核和评选过程中也面临不小的压力。在揭晓奖项的官方博文中NeurlPS 2019也声明了奖项评审过程中的相关标准和评选过程从这些标准中我们可以也看出哪些研究更NeurIPS 2019所认可或者不被鼓励。评审委员会一致通过的评审标准包括鼓励以下9种研究特质持久的潜力ーー专注于主要工作而不是边边角角。 在未来的几十年里人们可能仍然会关心这个问题洞察力——提供新的最好是深入的理解不仅仅是为了模型表现出几个百分点的改进创造力——以创造性的新方式看待问题给出一个真正让读者感到惊讶的结果革命性ーー将从根本上改变人们未来的思维方式严谨性ーー无懈可击的严谨和考虑优雅感ーー美丽、干净、光滑、优雅现实性ーー不过分强调其重要性科学性——在实际上是可证伪的可重复性ーー结果是可重现的代码是可用的并且可以在各种机器上使用数据集是可用的证明细节是完整的。组委会还公布了一些他们不鼓励的3种论文特质:低效ーー远离那些仅仅因为资源浪费而脱颖而出的工作主要是因为浪费了大量资源而获得了较高的排名趋附大势——因为一个想法很时尚所以采用某种方法但可以通过其他方法以不同的更有效的方式获得。过于复杂ーー论文有非必要的复杂性。此外组委会今年还新增加了一个杰出新方向论文奖以突出在为未来的研究设置一个新的途径方面出色的工作。一起来看看5大奖项的获奖论文。杰出论文奖Outstanding Paper Award获奖论文Distribution-Independent PAC Learning of Halfspaces with Massart Noise论文链接https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise.pdf论文作者Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos机构威斯康辛大学麦迪逊分校、马普所具体而言研究人员给定了一组带标签样本x, y采样R^d1维的分布D如此未带标签点x上的边缘分布是任意的并且标签y通过一个未知半空间生成这个未知半空间被Massart噪声破坏其中噪声率η1/2。这样一来问题就变成了寻找到假设h使得误分类误差misclassification error得以最小化。在本篇论文之前即使是对于析取类the class of disjunctions也没有一个有效的弱分布独立学习器模型。这种半空间甚至析取类的算法在各项研究中始终未能得到解决从Sulon1988、Cohen1997一直到Avrim Blum的FoCS 2003教程都在强调这个问题。该论文研究了在训练数据中存在未知有界标签噪声情况下二值分类线性阈值函数的学习问题。论文提出通过导出一个有效的学习算法能解决基本的、长期存在的开放问题。本文在机器学习领域长期存在的开放性问题上取得了重大进展即“在Massart噪声下有效地学习半空间问题进行了研究”。举一个简单的例子在1%的Massart噪声下即使是弱学习析取weak learning disjunctions误差率49%也是开放的。本文展示了如何有效地实现与Massart噪声水平加epsilon和运行时间poly1/epsilon相等的超额风险。算法方法的复杂使得在技术上难以确定。最终目标是能够有效地获得等于epsilonin-time poly1/epsilon的超额风险。杰出新方向论文奖Outstanding New Directions Paper Award获奖论文Uniform convergence may be unable to explain generalization in deep learning论文链接https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning.pdf论文作者Vaishnavh Nagarajan、J. Zico Kolter机构卡耐基梅隆大学、博世人工智能中心为了解释过参数化深度网络的泛化行为最近许多论文为发展了深度学习设定了泛化边界所有边界的制定都基于一致收敛的基本学习理论技术。现有边界的数值是巨大的通过大量的实验研究人员揭示了除了边界外更值得关注的一个方面实践中这些界限可以随着训练数据集的增大而增大。观察结果指出研究人员给出超参数线性分类器和梯度下降GD训练的神经网络的例子但其中一致收敛证明不能解释泛化——即使我们尽可能充分考虑GD{\em的隐式偏差。更准确地说即使我们只考虑GD输出的一组分类器它们的测试误差在我们的设置中小于一些小的值我们也表明对这组分类器应用双边一致收敛只会产生大于的空泛化保证。通过这些发现我们对基于一致收敛的泛化界的能力提出了质疑以提供一个完整的图片说明为什么过度参数化的深层网络泛化良好。针对许多现有的基于范数的边界深度学习算法的性能否做到他们所声称的那样本文给出了否定的回答。他们认为当他们继续依赖于双边一致收敛机制the machinery of two-sided uniform convergence时他们就不能做自己宣称的事情。虽然这篇论文没有解决(也没有假装解决)深层神经网络的泛化问题但如果用培根的话说就是“指路路标”instance of the fingerpost能够指引研究团队去探索不同的可能性。杰出论文荣誉提名奖Honorable Mention Outstanding Paper Award获奖论文Nonparametric Density Estimation Convergence Rates for GANs under Besov IPM Losses论文链接https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses论文作者AnanyaUppal、 ShashankSingh、BarnabásPóczos机构卡内基梅隆大学该论文以严格的理论方法证明在密度估计方面就收敛速度而言GAN的性能优于线性方法。利用先前关于小波收缩的结果本文为GAN的表示能力提供了新的思路。具体来说作者在大型函数类别Besov空间内的大型损失类别所谓的积分概率度量下得出了用于非参数密度估计的最小极大收敛速度。审稿人认为这篇论文将对从事非参数估计和GAN的研究人员产生重大影响。获奖论文Fast and Accurate Least-Mean-Squares Solvers论文链接https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers论文作者AlaaMaalouf、IbrahimJubran、DanFeldman机构海法大学计算机科学系机器人与大数据实验室最小均方求解是许多机器学习算法的核心从线性和Lasso回归到奇异值分解和弹性网络。本文展示了如何将它们的计算复杂度降低一到两个数量级而又没有精度损失和改善的数值稳定性。 该方法依赖于Caratheodory定理建立了一个核心集d维的d2 1个点的集合足以表征凸包中的所有n个点。该文的新颖之处在于提出的分治法该算法可提取具有可承受的复杂性的核集Ond d5 log n前提是d n。审稿人强调了该方法的重要性因为该方法的递归划分原理而使其易于推广从业人员可以轻松实现该方法以改进现有算法并且可以将其扩展到其他算法。杰出新方向论文荣誉提名奖Honorable Mention Outstanding New Directions Paper Award获奖论文Putting An End to End-to-End: Gradient-Isolated Learning of Representations论文地址https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations论文作者Sindy Löwe、Peter OConnor、Bastiaan Veeling机构阿姆斯特丹大学论文提出了一种用于局部自我监督表示学习的新型深度学习方法该方法不需要标签或端到端反向传播而是利用数据中的自然顺序。受生物神经网络似乎在学习时不会反向传播全局误差信号的观察启发我们将深度神经网络拆分为若干梯度独立模块。训练过程中每个模块都利用 Oord 等人 [2018] 提出的 InfoNCE 边界最大限度地保留该模块的输入信息。尽管这是一种贪婪的训练方式但我们证明了每个模块都可以在前一模块输出上得以提高并且顶级模块创建的表示形式在音频和视频领域的下游分类任务上可产生极具竞争力的结果。 该提议使异步优化模块成为可能从而允许非常深的神经网络在未标记数据集上进行大规模分布式训练。评论本文依据van Oord等人提出的自我监督的标准重新讨论了深度网络的分层构建特别是当前输入表征与时空输入表征之间的交互信息。感知网络中的这种自组织可能会在算法视角(回避端到端优化、其巨大的内存占用和计算问题)和认知视角(利用所谓的慢特性的概念向更“生物学上合理的”学习过程发展)的结合方面提供了新的启发。获奖论文Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations论文链接https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations论文作者Vincent Sitzmann 、Michael Zollhöfer、Gordon Wetzstein机构斯坦福大学生成模型的无监督学习有着发现3D场景的丰富表征的潜力。虽然几何深度学习探索了场景几何的3D结构感知表示但是这些模型通常需要明确的3D监督。新兴的神经场景表示只能通过摆姿势的2D图像进行训练但是现有方法忽略了场景的三维结构。我们提出了场景表示网络SRN这是一种连续的3D结构感知场景表示可对几何形状和外观进行编码。 SRN将场景表示为将世界坐标映射到局部场景属性的特征表示的连续函数。通过将图像形式表述为可区分的光线行进算法可以仅从2D图像及其相机姿态端对端地训练SRN而无需深度或形状。这种表达方式自然可以跨场景进行泛化在此过程中学习强大的几何形状和外观先验。我们通过评估SRN的新颖视图合成几次快照重建关节形状和外观插值以及非监督性非刚性人脸模型来证明SRN的潜力。本文介绍了CV中两种广泛方法的完美结合多视图几何和深层表示。 具体来说本文做出了三点贡献1每个像素的神经渲染器它可以以3D感知的方式实现无分辨率的场景渲染 2可微分的光线行进算法解决了沿着相机投射的光线寻找表面相交的难题。 3潜在场景表示它使用自动编码器和超网络来回归场景表示网络的参数。经典论文奖Test of Time Award论文名称Dual Averaging Method for Regularized Stochastic Learning and Online Optimization论文链接https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/xiao10JMLR.pdf论文作者Lin Xiao微软研究院的高级首席研究员曾就读于北京航空航天大学和斯坦福大学。他目前的研究方向包括大规模优化的理论和算法、机器学习和在线算法、并行和分布式计算。本文认为正规化随机学习和在线优化问题,目标函数是两个凸的和术语:一个是损失函数的学习任务另一个是一个简单的正则化项。研究中开发了Nesterov的双重平均方法的扩展可以利用在线设置的正则化结构。在这些方法的每次迭代中通过解决一个简单的最小化问题来调整学习变量该问题涉及到损失函数过去所有次梯度的运行平均值和整个正则化项而不仅仅是其次梯度。对于ℓ1的正则化该方法能够有效的获得稀疏效果。研究还证明这些方法达到了随机学习标准的最优收敛速度。对于损失函数具有Lipschitz连续梯度的随机学习问题研究者提出了对偶平均法的加速版。该论文提出了一种全新在线算法——正则化双重平均算法RDA研究实验证明RDA 对于ℓ1 正则化的稀疏在线学习非常有效。经典论文奖的授予原则为具有重要贡献、持久影响和广泛吸引力。官方设置了专门的委员会负责筛选对社会产生重大且持久影响的论文。Amir Globerson, Antoine Bordes, Francis Bach和Iain Murray承担参与到评选工作中。委员会从18篇被接受的论文开始进行评选工作——到2009年NeurIPS这些论文自发表以来被引用次数最多。然后他们把搜索的重点放在那些已经产生了持续影响的论文上即那些在最近的论文仍然被引用的论文。委员会还希望能够确定对该领域的准确贡献使选定的论文脱颖而出并确保该论文写得足够好使当今社会的大多数人都能阅读。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
