地方门户类网站产品推广,深圳网络推广怎么做,应用公园app开发步骤详解,数商云公司简介来源#xff1a;云栖社区丨公众号摘要#xff1a;如果连思考方式都是错的#xff0c;机器学习肯定不会有很大的进步#xff01;2018年已结束#xff0c;现在是开始预测2019深度学习的时候了。以下是我之前对2017年和2018年的预测和回顾#xff1a;关于2017年预测和回顾。… 来源云栖社区丨公众号摘要如果连思考方式都是错的机器学习肯定不会有很大的进步2018年已结束现在是开始预测2019深度学习的时候了。以下是我之前对2017年和2018年的预测和回顾关于2017年预测和回顾。2017的预测涵盖了硬件加速卷积神经网络CNN的主导地位元学习强化学习对抗性学习无监督学习迁移学习以及作为组成部分的深度学习(DL)设计模式和超越理论的实验。预测https://medium.com/intuitionmachine/10-deep-learning-trends-and-predictions-for-2017-f28ca0666669回顾https://medium.com/intuitionmachine/10-deep-learning-trends-and-predictions-for-2017-f28ca0666669关于2018年预测与回顾。2018年的预测涵盖了硬件初创公司元学习取代SGD生成模型自我博弈语义差距可解释性海量数据研究教学环境会话认知和人工智能伦理。预测https://medium.com/intuitionmachine/10-fearless-predictions-for-deep-learning-in-2018-bc74a88b11d9回顾https://medium.com/intuitionmachine/2018-retrospective-on-deep-learning-predictions-1cea68825bb3通过回顾我的预测表明我发现我太乐观了高估了技术发展的速度。总的来说一直处于一种夸大的期望状态。事后看来是因为忽略了一般认知的潜在复杂性。我们现在必须降低期望并专注于有希望的领域。这些有希望的领域将逐步取得进展而不是“moon shots”(注一个疯狂的想法或者不大可能实现的项目)。革命性进展应该分阶段发生我们今天遇到的是实现Interventional level的主要障碍。这并不意味着我们不能取得任何进展而是在目前的成熟度水平中有许多悬而未决的成果而这些成果已经准备好进行开发DL在2019年的进展将主要围绕这一务实的认识。以下是我的预测与前几年一样它们可作为跟踪DL进度的指南。1. 深度学习硬件加速减缓深度学习硬件加速已经减缓脉动阵列在2017年给全世界带来了巨大的加速增长。我们不能指望2019年计算能力的大幅提升NVidia的图灵核心只比Volta核心快一点。谷歌的TPUv3系统现在采用液冷与之前的产品相比密度更高。我不认为2019年会有任何重大的架构改进因此不要像往年那样大幅增加。但是我们将看到GraphCore和Gyrfalcon的新架构规避了内存传输的功率成本并支持稀疏操作但是需要更改深度学习格式来适应这些新架构以及需要进行新的硬件研究这个灵感来自生物学的纳米意向性。2.无监督学习已经解决但不是所预期的无监督学习的思维方式都是错误的。LeCun的蛋糕理论是错的不同类型的学习关系应如下所示为什么UL价值最低难度最小那是因为没有目标你可以做任何可能有效或无效的集群。最终它归结为基于UL嵌入的更高层的性能。UL嵌入本质上是包含丰富的先验数据这些先验如何被利用取决于具有目标的上游过程。ELMO和BERT已经发现我们可以训练用来预测或生成其数据的UL这是上游任务的良好基础。UL基本上是监督学习其标签已存在于数据中。简而言之UL已经被解决了但并没有像大多数从业者所期望的那样。如果网络可以做出良好的预测或者可以生成原始数据的良好传真那么这就是UL。因此每个人都认为解决UL将是一项重大进展因为人们可以使用没有人类标签的数据。不幸的是因为免费提供的东西很容易提取它已经被解决了。我在2019年对UL的预测是研究人员将接受这一新观点转而关注更有价值的研究即continual或interventional学习。3.元学习仅适用于研究我们对元学习的理解似乎与对无监督学习的理解一样模糊。如今所实践的元学习更像是迁移学习。实际上更高级的元学习可以构建和改进自己的模型的。元学习应该能够建立外推和创造性的学习模型但我们无法实现这一能力。任何适用于多领域的学习方法在技术上都是元学习算法。例如梯度下降、遗传算法、自我博弈和进化都是元学习算法。元学习方法的目标是开发在许多领域中学习良好的算法。目前很少存在已知的元学习算法但是知道存在一种我们不理解的元学习算法我们不了解人们使用的元学习算法。此外元学习像无监督学习一样是一个太普遍的问题以致无法理解如何以通用的方式解决可能天下真的没有免费的午餐。我认为有些具体的方法如生成模型混合模型和课程训练将有更好的机会获得更有价值的结果这意味着我们发现的元学习算法仅对特定类型的学习任务有用。就像通过梯度下降学习只为特定任务加速梯度下降一样元学习只能改善它所见过的任务中的学习。简而言之元学习充其量是内插的不能概括全部也许不存在通用的元学习方法而存在一套元学习方法可以拼凑在一起来产生有效的课程。总之元学习仍将需要研究。4.在科学中的应用生成计算模型我们将可以更好地控制生成模型。这里有三类已被证明是有效的生成模型变分自编码器、GAN和基于流的生成模型。我希望看到GAN和Flow模型的快速发展以及VAE的进展。我还期望在科学探索中看到这种涉及复杂的自适应系统应用即天气、流体模拟、化学和生物学。这方面的进步将对科学进步产生深远的影响。5.混合模型在预测中的应用深度学习在提供高维系统预测方面发挥出优势。然而深度学习仍然无法制定自己的抽象模型这仍然是解释性和外推预测的基本障碍。为了补充这些限制我们将看到混合双重过程解决方案它将现有模型与无模型学习相结合。我觉得使用hand-crafted的模型可以减轻无模型RL的低效率问题。我期待关系图网络的进展并且当这些图与先前的基于模型的模型有偏差时我们会看到令人印象深刻的结果。我还期望通过融合现有的符号算法与DL来提升预测能力。DL的产业化将不是因为我们在迁移学习方面取得了进步而是通过人工模型和DL训练模型的融合。6.更多模仿学习方法模仿不需要外推推理因此我们将会看到在模仿各种现有系统方面取得的相当大的进展。为了能够模仿行为机器只需要创建一个反映行为的描述性模型。 这比生成建模更容易因为生成建模必须要发现未知的生成约束。生成模型运作良好的原因是它所做的只是模仿数据而不是推断生成数据的潜在因果的模型。7.更多深度学习集成设计探索我们将看到许多生成模型的研究转移到现有的设计工具中。它首先出现在视觉领域并逐步向其它方向发展。事实上我们甚至可以将AlphaGo和AlphaZero的进展视为设计探索。竞争性围棋和国际象棋选手已经开始研究从DeepMind游戏AI引入的探索策略来开发以前未被探索过的新策略。深度学习方法的简单匹配算法和可扩展性将成为可以改善人类所完成设计的头脑风暴机器许多深度学习方法现在都集成在Adobe和AutoDesk的产品中。 Style2Paints是与标准桌面应用程序集成的深度学习方法的绝佳示例。深度学习网络可以降低人们在工作流中完成任务所需的认知负荷。深度学习允许创建擅长处理更模糊和更混乱的认知细节的工具。这些都需要减少信息过载提高召回率提取文本和更快的决策。8.端到端训练的衰减未来会注重发展性学习端到端训练的回报将会减少我们将看到在不同环境中训练的网络来学习专业技能将这些方法拼接在一起形成的新方法来作为更复杂技能的构建块。我期望在2019年看到课程训练的进步以及希望看到更多的研究受到人类婴儿发展的启发。训练网络执行复杂的任务将涉及复杂的奖励设置因此我们需要改进方法来解决这个问题。9.更丰富的自然语言处理嵌入NLP已经在2018年取得了进展这主要归功于创建词嵌入无监督学习方法的进步2018年NLP的进展可归功于更先进的神经嵌入ELMOBERT。通过简单地替换更丰富的嵌入这些嵌入改进了许多上游NLP任务关系图网络中的工作可以进一步增强深度学习NLP功能。Transformer网络被证明在NLP中非常有价值我希望它在其他领域继续采用。我认为ConvNet网络的主导地位将受到Transformer网络的挑战。我的直觉是与ConvNets可用的固定机制相比注意力是一种更加通用的机制用于实施不变性或协方差。10.采用控制论和系统思维方法深度学习实践的一个主要缺点是缺乏对大局的理解。我们正处在需要从更多非传统来源获取灵感的时刻我相信这些来源是以前控制论及其相关的系统思维学科的研究。我们需要开始考虑如何构建强大的智能基础架构和智能扩充。这需要超越目前许多研究人员的机器学习思维。迈克尔在他的文章“人工智能 - 革命尚未发生”中评论说诺伯特维纳的控制论已经“主宰当前时代”。控制论和系统思维将帮助我们开发更全面的方法来设计AI系统成功的人工智能部署最终将与他们如何与人类用户的需求保持一致。这将需要探索和制定整合各种相互作用部分的整体方法。许多更新颖的深度学习方法可以追溯到控制论中的思想。对自主AI需要在其世界模型中包含主观视角的理解将会增加。预测编码、由内到外的体系结构、体现学习、及时推理、内在动机、好奇心、自我模型和可操作的表示都在这个范例中相关。总结深度学习继续以突破性的速度取得进展我希望研究可以转变为工业应用。在当今市场中理解深度学习的普遍缺点是无法为现有问题制定整体解决方案。创建将DL作为一个组件整合到整体中的解决方案的能力将是一种追求的技能。机器学习方法论可能是错误的我们可以在控制论中可以找到更合适的观点。我们可能无法在短期内实现AGI但深度学习可用的工具和方法可作为科学和商业中有价值应用的坚实基础。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
