无锡网站制作推广公司,wordpress id从1开始,wordpress文章内代码,苏中建设集团网站网址文 | 蒋宝尚源 | AI科技评论在AI圈里有这么一个人#xff0c;虽然大学没有毕业#xff0c;但却做过谷歌大脑研究员#xff0c;担任过OpenAI团队的领导人。他被人称作“怪胎”#xff0c;也被人称作神童。他的名字叫做Chris Olah。在众人眼里#xff0c;他的成长树在一开始… 文 | 蒋宝尚源 | AI科技评论在AI圈里有这么一个人虽然大学没有毕业但却做过谷歌大脑研究员担任过OpenAI团队的领导人。他被人称作“怪胎”也被人称作神童。他的名字叫做Chris Olah。在众人眼里他的成长树在一开始似乎长“歪”18岁那一年进入多伦多大学读本科随后辍学开始研究计算机。他运气不错在刚刚开始进行AI研究的时候他就得到了知名学者、量子物理学家 Michael Nielsen 的指导。2013 年图灵奖得主 Yoshua Bengio 曾邀请他去做自己的研究生但Chris居然拒绝了Bengio的邀请去谷歌大脑团队做了实习生跟随Jeff Dean研究卷积神经网络、交互媒体相关的内容。仍然是运气不错。2015年在 Greg Corrado 的帮助下他转为了谷歌的正式员工。在谷歌的那段日子发过多篇论文带过博士生并和贾扬清、Ian Goodfellow等顶尖研究员一起合作过。根据谷歌学术其h指数甚至达到了19总引用数达到了32616远超拥有博士学位的研究者。其中最高引用的一篇文章TensorFlow: Large-scale machine learning on heterogeneous systems”是他在谷歌大脑和40多作者包括Jeffrey Dean、 Ian Goodfellow等知名学者合写的关于tensorflow详细介绍。Chris Olah 在最近的一篇博客中介绍了自己对于“如何提升研究品味”的看法以及背后的一些决策思考以下为博客内容整理。如何提升研究品味要成为一名研究人员最重要的一个能力就是培养研究品味审美因为品味背后代表着能够选择一个好的研究问题。培养品味很难下面我在分享一些可操作的训练方法。在说明具体方法之前有必要思考一下为什么培养研究品味如此之难。最核心的问题是验证研究想法是否有价值的成本非常高昂。直观体现在时间成本上通常情况下验证想法需要耗费几个月的时间这意味着每年只能得到有限的几条关于审美的反馈。下面介绍的练习方法将教你如何快速获反馈。值得一提的是不建议强迫自己去做不感兴趣的事情即理智上认为它很重要。其实最重要的问题应该是能让你感到极度兴奋。练习方式练习1:列出研究想法的清单。找一位导师让他给每个想法打分。然后和他讨论你不同意的观点。相比通常需要几个月才能验证研究想法。请教导师是极具性价比的方式。练习2:当别人尝试你的研究想法时将他的结果和你的预期相比。当和别人头脑风暴时你可能投入大量的时间精力但同时你也可能拥有数十个研究想法。如果别人实现了你的想法并发表了论文。那么你可能会感到不舒服但记住这是一个免费获得宝贵反馈的机会。练习3:采访你周围的研究人员了解他们的审美。弄明白他们为什么要努力解决他们所面临的问题?他们是如何挑选问题的?他们研究的“蓝图”是什么?额外好处如果感觉采访很棒可以考虑获得允许后把这些东西写下来。另外大多数博士生经常会和访问他们实验室的研究人员开一些简短的会议。目的之一是向来访者“推销”他们的项目如果他们没有类似的兴趣便可能没有什么成效。练习4阅读有关科学史的书籍。反思为什么一些研究者把注意力集中在被他们同时代人所忽略的重要方向上。注库恩的《科学革命的结构》(The Structure of Scientific Revolutions)是我最喜欢的书之一。练习5:批判性地思考你的研究审美以及你周围的社群审美。你的审美很可能会受到你的研究集群(合作者、顾问等)的影响。思考的一些方向可以有在过去几年里你自己的研究或你所在的社群的看法在哪些方面是错误的?是否有相邻的研究“流派”具有明显不同的研究审美?如果是这样试着说出他们最强烈的观点以及你同意或不同意的原因。你在哪些方面不同意你自己社群的研究审美?你认为你的社群在哪些方面可能是错误的?你的研究目标是什么?是为了寻找研究的乐趣想让世界变得更美好你正在处理的问题是否与这些目标有关系?失败模式列举一些失败的研究审美的模式失败模式1过于依赖一个研究方向或者陷入沉没成本。许多研究人员开始研究一个问题(通常是由于环境而不是预期的决定)然后发现很难继续下去。可能的解决办法留出一到两周的时间后退一步列出你认为最有前途的其他研究方向可以看看新的研究与他人交流等等。然后问一下如果你从头开始你想做什么。根据需要每1-2年重复一次。失败模式2:缺乏背景知识或者亲密感。理论知识是研究品味形成的重要因素因为你的研究品味不可能凭空得来。有时人们陷入了一个陷阱试图在动手之前就选择一个完美的问题或有一个卓越的见解。然而你的研究审美不可能凭空的来因此你需要理论知识和研究亲密感。可能的解决办法在你感兴趣的领域帮助别人完成他们的项目。你会发现在这过程中会学到很多东西并且不用过度投入到长期的工作中。理想情况下如果不担任项目的“头头”或者做短期项目能够让你比较轻松也可以帮助保持你的研究感觉和研究热度。失败模式3环境与你的兴趣不一致。我有时会和一些博士生交谈这些博士生和他们的导师有不同的兴趣他们试图把自己的研究兴趣扭曲成他们导师喜欢的东西。这通常会形成一些为了折衷而不是为了质量而进行优化的想法。如此一来会导致不甚理想的研究也会让你失去建立研究审美的机会。即使你周围的人名义上支持你从事任何你感兴趣的工作上述情况也会发生。而当你周围的人都缺乏热情的时候要追求一个方向是很有挑战性的。可能的解决办法:要么“搬家”到一个与你的兴趣相一致的环境要么暂时融入你的社群并尝试在这些兴趣范围内锻炼良好的研究品味。我通常认为一旦你对自己感兴趣的东西进行了大量反思并拥有了自己感到非常兴奋的东西你就可以跳到另一个环境中去。其他人的建议在twitter上的讨论中很多人提出了其他的想法。请注意所有这些都是“构建品味的练习”。• 雷切尔•普鲁登建议想象另一个小组发表了你脑海中的论文。你会对读到它而感到兴奋吗?Chris评论:我认为这是一个很好的启发式。• Andy Matuschak建议就你的观点提出反汉明anti-Hamming)的问题。在你的领域里最有趣(但不重要)的问题是什么你为什么不去做呢Chris评论:这是个很好的问题。参见汉明著名的“你和你的研究”演讲。• 安迪也分享了一个失败模式试着让一个想法在看起来容易处理的时候去做。有一个令人兴奋而可行的方法是——让我想去做它如果有一个想法我长时间思考它通常可以进化出更深层次的变体并将其付诸实践。• 迈克尔·尼尔森(Michael Nielsen)的《有效研究原则》(Principles of Effective research)指出了关注混乱领域的价值:当你发现“混乱”时很多人第一反应是回避去寻找更容易理解的东西。但一个混乱的领域其实是一个机遇。很有可能会有一些深入的统一和简化的概念仍然等待着某人——也许是你——的理解和发展。• 亚索·奥尔希尔Arthur Allshire你所在领域的瓶颈问题是什么?如在许多强化学习的研究中很多关注的是对算法的细微调整但最大的改进来自于对RL的模拟的改进。• Preetum Nakkiran我发现写短期的“项目建议书”和长期的“研究陈述或计划”是思考动机和目标(在不同的时间尺度)的很好的练习。所谓的“项目提案”是指:一旦你决定花超过1个月的时间在什么问题上那么不妨写下几页文字来告诉自己为什么这个问题是有趣的为什么这个答案是有价值的以及你希望找到什么(比如初始证据)然后得到反馈。…另外建议你向你遇到的每个人询问他们的“大蓝图”研究目标。因为这非常有趣和重要但一般不会出现在论文上。• Christian Szegedy事后看来我在研究中所犯的大多数错误都是因为我听取了我尊敬的导师的批评而我所做的大部分很酷的东西最初都被大家认为是无用的、无趣的或“祝你好运”。一般来说研究中的想法要么领先于其他想法要么挑战传统智慧。加入后一种阵营需要较少的技巧但需要更多的勇气。Chris评论我认为很有道理但是要注意幸存者偏差记住不同的人在他们职业生涯的不同阶段可能有不同的科学成熟度或审美。我猜想许多博士生会发现从一开始就制定自己的研究议程是非常具有挑战性的因为成长或许会让他们改变想法。• Sergey Gorbunov关于研究品味我对研究生或初级研究员的唯一建议是“不要”听你的导师或知名研究员的话……因为研究生院是唯一一个让你有机会尝试和失败的地方。研究生应该想出非常规的问题或者解决方案。(因为已建立的研究有自己的流程和思考方式????)。同样建议也可以用来推翻自己。• Boaz Barak我喜欢“20/80项目”即你做了80%的工作却实现了20%的目标而不是问“我用最小的努力能得到的最好的结果是什么?”或者“我能否找到足以概括出主要障碍的问题即使最终结果听起来并不怎么样?”后台回复关键词【入群】加入卖萌屋NLP/IR/Rec与求职讨论群后台回复关键词【顶会】获取ACL、CIKM等各大顶会论文集 [1] https://colah.github.io/notes/taste/
