长春建设平台网站的公司哪家好,品牌建设策略论文,泉港做网站公司,3g开发网站编 | 好困 Joey David源 | 新智元LSTM之父、暴脾气大爷Jrgen Schmidhuber又开炮了#xff1f;这回怼的是LeCun#xff0c;说最近的新论文是炒了自己20多年前的冷饭#xff0c;只不过换了种说法而已。图灵奖得主Yann Lecun#xff0c;作为AI界的三巨头之一#xff0c;他发表… 编 | 好困 Joey David源 | 新智元LSTM之父、暴脾气大爷Jürgen Schmidhuber又开炮了这回怼的是LeCun说最近的新论文是炒了自己20多年前的冷饭只不过换了种说法而已。图灵奖得主Yann Lecun作为AI界的三巨头之一他发表的论文自然是被人当成「圣经」来学习的。然而最近突然有一个人跳出来炮轰LeCun「炒冷饭」「无非就是把我的核心观点换种说法罢了」。莫非……没错此人正是「LSTM之父」Jürgen Schmidhuber。Schmidhuber表示LeCun的这篇论文并未提及1990-2015年期间的重要成果文中所提及的「主要原创成果」包括「学习子目标、可预测的抽象表征、多个时间尺度」等概念他们也已经发表过了。原推中用的rehash这个词也就是把原先的idea用另一种方式表达而不做创新妥妥的「洗稿」了。同时他还发长文详细地列出了证据。当然这只能算是Schmidhuber的一面之词罢了。不过网友们显然并不买账。「你过去是AI界的一位重量级人物但现在你出名的地方在声称每个人的学术成果都是剽窃了你的观点」。「神经网络、transformers、LSTMS是你发明的那厕纸和面包片是不是也是你们家发明的」。所以到底是个啥事让我们先捋一捋事情的来龙去脉。2022年6月14日被Schmidhuber称作Science Tabloid的一家「科学小报」说的就是你MIT科技评论发表了一篇LeCun的报告其中阐述了他对AGI的新构想。6月27日Yann LeCun发表了自己积蓄几年的论文「A Path Towards Autonomous Machine Intelligence」并称其为「指明AI未来发展方向之作」。这篇论文系统讲述了关于「机器如何能像动物和人类一样学习」的问题长达60多页感兴趣的朋友可以去看看。LeCun表示此文不仅是自己关于未来5-10年内关于AI发展大方向的思考也是自己未来几年打算研究的内容并希望能够启发AI界的更多人来一起研究。大概是看LeCun这篇论文的影响越来越大Schmidhuber终于决定在7月7日放出自己写的长文怒斥Lecun抄袭他的idea。Schmidhuber称在文章还没公开发表之前那家「科学小报」发来一份报告的草稿还在保密期并希望他能对此发表一些评论。于是Schmidhuber便洋洋洒洒地写了一篇「控告」表示LeCun的文章基本上就是自己以前工作的翻版而且还没有引用。不出意料他的评论石沉大海了。LeCun只是重提我的工作而且还没标引用Schmidhuber在这篇长文中表示希望读者能研究原始论文自己判断这些评论的科学内容并且还希望自己的工作得到承认和认可。LeCun论文开头部分说本文描述的许多观点几乎都是由许多作者在不同的背景下以不同的形式提出Schmidhuber则反驳称不幸的是这篇论文的大部分内容就和我们1990年以来的论文「似曾相识」且没有任何引用的标识。先来看看他这次炮轰LeCun的证据部分。证据1LeCun今天的人工智能研究必须解决三个主要挑战1机器如何能学会代表世界学会预测并学会主要通过观察来采取行动2机器如何以与基于梯度的学习兼容的方式进行推理和计划3机器如何以分层的方式在多个抽象层次和多个时间尺度上学习表征感知3a和行动计划3bSchmidhuber这些问题在1990年、1991年、1997年和2015年发表的一系列论文中得到了详细解决。1990年第一篇关于基于梯度的人工神经网络NN用于长期规划和强化学习RL以及通过人工好奇心进行探索的工作发表。它描述了两个递归神经网络RNN最强大的NNN的组合称为控制器和世界模型。其中世界模型学习预测控制器行动的后果控制器可以利用世界模型提前规划几个时间步骤选择使预测奖励最大化的行动序列。关于基于神经网络的分层感知3a的答案这个问题至少部分由我 1991年发表的「第一台深度学习机器—神经序列分块器」解决。它在递归神经网络 (RNN) 的深层层次结构中使用无监督学习和预测编码以在多个抽象级别和多个时间尺度正是 LeCun 所写的内容上找到「长数据序列的内部表征」。关于基于神经网络的分层行动计划3b的答案已在 1990 年通过我的分层强化学习 (HRL)这篇论文至少部分解决了这个问题。证据2LeCun 由于成本模块的两个子模块都是可微的所以能量梯度可以通过其他模块反向传播特别是世界模块、表演模块和感知模块。Schmidhuber这正是我在 1990 年发表的内容引用了 1980 年发表的「具有前馈神经网络的系统识别」论文。2000年我的前博士后 Marcus Hutter 甚至发表了用于学习世界模型和控制器的理论上最优、通用、不可微的方法。另请参考称为哥德尔机的数学上最优的自我参照 AGI证据3LeCun 短期记忆模块架构可能类似于键值记忆网络。Schmidhuber然而他没有提到我在 1991 年发表了第一个这样的「键值记忆网络」当时我描述了序列处理「Fast Weight Controllers」或 Fast Weight Programmers (FWPs)。FWP 拥有一个慢速的神经网络它通过反向传播学习以快速修改另一个神经网络的快速权重。证据4LeCun这篇论文的主要原创贡献在于I一个整体认知架构其中所有模块都是可区分的其中许多模块是可训练的。IIH-JEPA预测世界的非生成层次架构在多个抽象级别和多个时间尺度上学习表示的模型。III一系列非对比自我监督学习范式产生同时提供信息和可预测的表示。IV使用 H-JEPA 作为不确定性下分层规划的预测世界模型的基础。对此Schmidhuber也按照LeCun列出的这四个模块一一校对并给出了与他论文中有重合的点。文章最后他表示这篇文章的重点不是攻击发表的论文或是其作者所反映的想法关键是这些想法并不像LeCun 的论文中写的那样「原创」。他说这些观点的提出中许多都有着我和我的同事的努力LeCun现在所提出的他的「Main original contribution」其实与我几十年来研究的贡献密不可分我希望读者自己判断我的评论的有效性。从LSTM之父到……其实这位大爷声称别人抄袭他的成果也不是第一回了。早在去年9月他就在博客上发文表示现在引用最多的神经网络论文成果都是建立在我实验室完成的工作之上的「LSTM不用说了其他还有今天鼎鼎大名的开创性工作比如ResNet比如AlexNet、GAN、Transformer都和我的工作有关系。有些工作的第一版就是我做出来的但是现在这些人不讲武德引用不规范搞得这些成果现在的归属认知有问题。」虽然大爷气性很大但不得不说Jürgen Schmidhuber这么多年来确实有些意难平。同为AI领域的前辈级人物开创性成果没少做但获得的声誉和认可度似乎总与期望值有很大差距。尤其是在2018年深度学习三巨头Yoshua Bengio、Geoffrey Hinton、Yann LeCun荣获图灵奖时就有不少的网友发出了质疑图灵奖为什么没颁给LSTM之父Jürgen Schmidhuber他也是深度学习领域的大家啊。时间回到2015年当时Bengio、Hinton和LeCun三位大神联手在Nature上发了一篇review题目直接就叫《Deep Learning》。文章从传统的机器学习技术讲起总结了现代机器学习的主要架构和方法描述了训练多层网络架构的反向传播算法以及卷积神经网络的诞生分布式表示和语言处理以及递归神经网络及其应用等等。不到一个月后Schmidhuber就在自己的博客上发文进行了批评。Schmidhuber表示这篇文章让他非常不爽因为全文多次引用三位作者自己的研究成果而对于其他先驱人物对深度学习更早的贡献则只字不提。他认为获得图灵奖的「深度学习三巨头」俨然成了贪他人之功以为己利的鸡贼、借助江湖地位互相吹捧压制老前辈的学阀。2016年Jürgen Schmidhuber又在NIPS大会的Tutorial上和「GAN之父」Ian Goodfellow正面交锋。当时Goodfellow正讲到GAN与其他模型相比较时Schmidhuber便站出来提问打断。Schmidhuber的问题很长大概说了两分钟主要内容是强调说自己在1992年就已经提出来PM接着说了一大堆它的原理、实现过程等等最后图穷匕见你说说你的GAN和我的PM有没有相似之处Goodfellow也不示弱你说的问题我们之前在邮件里已经交流过很多次了我也早就公开回应过你了不想在现在的场合浪费听众的耐心。等等等等……或许Schmidhuber的这些「蜜汁操作」可以用LeCun曾经的一封邮件来解释「Jürgen 对众人的认可过于痴迷总是说自己没有得到应得的很多东西。几乎是惯性地他总是在别人每次讲话结束时都要站起来说刚刚提出的成果有他的功劳大体上看这种行为并不合理。」后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群 [1]https://people.idsia.ch/~juergen/lecun-rehash-1990-2022.html
