网站备案为什么 没有批复文件,一下成都网站建设公司,中国交通建设集团有限公司招标网,wordpress这么写一个api来源#xff1a;海豚数据科学实验室深度学习的未来在于这三种学习模式#xff0c;而且它们彼此之间密切相关#xff1a;混合学习——现代深度学习方法如何跨越监督学习和非监督学习之间的边界#xff0c;以适应大量未使用的无标签数据#xff1f;复合学习——如何以创造性… 来源海豚数据科学实验室深度学习的未来在于这三种学习模式而且它们彼此之间密切相关混合学习——现代深度学习方法如何跨越监督学习和非监督学习之间的边界以适应大量未使用的无标签数据复合学习——如何以创造性的方法将不同的模型或组件连接起来以生成一个大于各部分之和的复合模型简化学习——出于性能和部署目的如何减少模型的规模和信息流同时保持相同或更强的预测能力混合学习这种方式试图跨越监督学习和非监督学习之间的界限。由于有标签数据缺乏且成本高所以常常在业务上下文中使用。从本质上说混合学习是对下面这个问题的回答如何使用监督方法解决非监督问题首先半监督学习在机器学习领域取得了良好的进展因为它只需要很少的有标签数据就能够在监督问题上有非常好的表现。例如一个设计良好的半监督式 GAN生成式对抗网络只需要 25 个训练样本就能在 MNIST 数据集上获得了超过 90% 的准确率。半监督学习是针对有大量无监督数据和少量有监督数据的数据集而设计的。传统上监督学习模型只在一部分数据上进行训练无监督模型则在另一部分数据上进行训练而半监督模型则可以将有标签数据与从无标签数据中提取的见解结合起来。半监督 GAN简称 SGAN是对 标准生成式对抗网络模型 的改写。判别器输出 0/1 表示图像是否生成它也输出项的类别多输出学习。这是基于这样一种想法即通过判别器学习区分真实的和生成的图像它能够学习它们的结构而不需要具体的标签。通过少量标签数据的额外增强半监督模型就可以在少量监督数据的情况下实现最高的性能。要了解关于 SGAN 和半监督学习的更多内容请查看这里https://towardsdatascience.com/supervised-learning-but-a-lot-better-semi-supervised-learning-a42dff534781GAN 还参与了混合学习的另一个领域——自监督 学习在这种学习中非监督问题被明确地定义为监督问题。GAN 通过引入生成器人为地创建监督数据创建标签来识别真实 / 生成的图像。在无监督的前提下创建了一个有监督的任务。或者考虑使用 编码器 - 解码器压缩模型。在最简单的形式中它们是中间有少量节点表示某种瓶颈压缩形式的神经网络。两端分别是编码器和解码器。网络被训练成产生与输入向量相同的输出从无监督数据人为地创建监督任务。由于故意在中间设置了瓶颈所以网络不会被动地传递信息相反它必须找到最好的方法将输入内容保存到一个小的单元中这样解码器就可以再次合理地对它解码。训练完成后将编码器和解码器分开用于压缩或编码数据的接收端以极小的形式传输信息而又几乎不丢失数据。它们还可以用来降低数据的维数。另一个例子考虑一个大型的文本集可能是来自数字平台的评论。通过一些聚类或流形学习manifold learning方法我们可以为文本集生成聚类标签然后用它们作为标签如果聚类做得好的话。在对每个类进行解释之后例如类 A 表示对产品的抱怨类 B 表示积极的反馈等等可以使用像 BERT 这样的深层 NLP 架构将新文本分类到这些类中所有这些都是使用了完全未标记的数据并将人的参与降至最低。这又是一个将非监督任务转换为监督任务的有趣应用。在一个绝大多数数据都是非监督数据的时代通过混合学习在监督学习和非监督学习之间创造性地架起一座桥梁具有巨大的价值和潜力。迁移学习复合学习为的是利用几种模式的知识而不是一种。该方法认为通过独特的组合或信息注入——包括静态和动态——与单一模式相比深度学习能够在理解和性能方面不断地深入。迁移学习是复合学习的一个明显的例子它的前提是模型的权重可以从一个在类似的任务上预先训练过的模型中借用然后在特定任务上进行微调。像 Inception 或 VGG-6 这样的预训练模型其结构和权重被设计成可以区分几种不同类别的图像。如果我要训练一个神经网络来识别动物猫、狗等我不会从头开始训练卷积神经网络因为要达到不错的效果需要太长时间。相反我会使用一个预先训练过的模型比如 Inception它已经存储了图像识别的基础知识在数据集上额外进行几个 epoch 的训练。类似地在 NLP 神经网络中词嵌入会根据单词之间的关系在一个嵌入空间中将单词映射到实际距离较近的其他单词例如“apple”和“orange”的距离比“apple”和“truck”的距离更小。像 GloVe 这样预先训练好的嵌入可以放到神经网络中从单词到有意义的数字化实体的有效映射开始。较为隐秘的一点是竞争也能促进知识增长。首先生成式对抗网络借鉴了复合学习范式从根本上使两个神经网络相互竞争。生成器的目标是欺骗判别器而判别器的目标是不被骗。下文会将模型之间的竞争称为“对抗性学习”不要与另一种 设计恶意输入并利用模型弱决策边界 的对抗性学习相混淆。对抗性学习可以增强模型通常是不同类型的模型在对抗性学习中一个模型的性能可以用其他模型的性能来表示。在对抗性学习领域还有很多研究需要做生成式对抗网络是这个子领域唯一突出的创新。另一方面竞争性学习与对抗性学习类似但是逐节点执行的节点竞争对输入数据的一个子集作出响应的权利。竞争性学习是在一个“竞争层”中实现的在这个“竞争层”中除了某些权重随机分布外神经元都是相同的。将每个神经元的权值向量与输入向量进行比较然后激活output 1相似度最高的“赢者全拿”神经元其余神经元“不激活”output 0这种无监督技术是 自组织映射 和 特征发现 的核心组成部分。复合学习的另一个有趣的例子是 神经结构搜索。简而言之在强化学习环境中神经网络通常是 RNN通过学习为数据集生成最好的神经网络——算法为你找出最好的架构你可以点击这里了解更多理论知识https://towardsdatascience.com/if-youre-hyped-about-gpt-3-writing-code-you-haven-t-heard-of-nas-19c8c30fcc8a点击这里查看其 Python 实现https://towardsdatascience.com/automl-creating-top-performing-neural-networks-without-defining-architectures-c7d3b08cddc集成Ensemble方法也是一种重要的复合学习方法。深度集成方法已经被证明非常 有效而且端到端模型叠加像编码器和解码器已经变得越来越流行。复合学习的主要目的是找出在不同模型之间建立联系的独特方法。它的前提是单个模型即使是一个非常大的模型其性能也不如几个小模型 / 组件其中每一个都被委派专门处理一部分任务。例如考虑为一家餐馆构建一个聊天机器人的任务。我们可以将其划分为三个独立的部分寒暄 / 闲聊、信息检索和动作并针对每个部分单独设计一个模型。或者我们可以委托一个模型来执行所有这三个任务。复合模型性能更好同时占用的空间更少这应该没什么可奇怪的。此外这些非线性拓扑可以用 Keras 函数式 API 这样的工具轻松构建。为了处理越来越多样化的数据类型如视频和三维数据研究人员必须建立创造性的复合模型。点击这里关于复合学习及其未来展望的内容https://medium.com/analytics-vidhya/compositional-learning-is-the-future-of-machine-learning-22b56ad09edc简化学习模型的规模尤其是在 NLP 领域深度学习研究的中心正在大幅增长。最新的 GPT-3 模型有 1750 亿个参数。把它和 BERT 比较就像把木星和蚊子比较一样并不夸张。未来深度学习的模型会更大吗很可能不会。诚然GPT-3 非常强大但历史一再表明“成功的科学”是那些对人类影响最大的科学。当学术偏离现实太远时通常会淡出人们的视线。这就是神经网络在 20 世纪末期被短暂遗忘的原因因为可用的数据太少了以至于这个想法无论多么巧妙都是没用的。GPT-3 是另一种语言模型它可以写出令人信服的文本。它的应用在哪里是的它可以生成查询的答案。不过还有更高效的方法来实现这一点例如遍历一个知识图并使用一个更小的模型如 BERT 来输出答案。考虑到 计算能力的枯竭GPT-3 的庞大规模更不用说更大的模型似乎是不可行的或者是不必要的。“摩尔定律有点过时了。”——微软首席执行官 Satya Nadella相反我们正在走向一个嵌入式人工智能的世界智能冰箱可以自动订购食品杂货无人机可以自行导航飞遍整个城市。强大的机器学习方法应该能够下载到个人电脑、手机和小型芯片上。这就需要轻量级人工智能在保持性能的同时使神经网络更小。事实证明在深度学习研究中几乎所有的东西都与直接或间接地减少必要参数的数量有关而这又与提高泛化能力和性能紧密相关。例如卷积层的引入大大减少了神经网络处理图像所需的参数数量。递归层在使用相同权值的同时融入了时间的概念使得神经网络能够以更少的参数更好地处理序列。嵌入层显式地将实体映射到具有物理意义的数值这样负担就不会落在其他参数上。有一种解释说Dropout 层在对输入的某些部分进行操作时会显式地屏蔽参数。L1/L2 正则化 确保网络利用了所有的参数而且每个参数都不会太大并最大化了每个参数的信息价值。随着专用层的建立网络对更复杂、更大数据的要求越来越少。其他最新方法明确地寻求简化网络。神经网络剪枝 试图去除对网络输出没有价值的突触和神经元。通过剪枝网络可以在去除大部分网络节点的情况下保持其性能。其他方法如 Patient Knowledge Distillation可以将大型语言模型压缩成可下载到用户手机上的形式。对于支撑谷歌翻译的 谷歌神经机器翻译GNMT系统 来说这种考虑是有必要的该系统需要创建一个能够离线访问的高性能翻译服务。本质上讲简化学习以部署为中心进行设计。这就是为什么大多数关于简化学习的研究都来自于公司的研究部门。以部署为中心的设计不能盲目地遵循数据集上的性能指标而要关注模型部署时的潜在问题。例如前面提到的 对抗性输入 是设计用来欺骗网络的恶意输入。可以用喷漆或贴纸来欺骗自动驾驶汽车使其远远超过限速。负责任的简化学习不仅是使模型足够轻量化而且要确保它能够适应数据集中没有表示出的极端情况。在深度学习研究中简化学习得到的关注最少因为“我们成功地在可行的架构规模下实现了良好的性能”远不如“我们利用一个拥有无数参数的架构实现了最先进的性能”那么吸引人。不可避免地当对更高百分比的追求消失时正如创新的历史所显示的那样简化学习——实际上就是实用的学习——将得到更多它应该得到的关注。总结混合学习试图跨越监督学习和非监督学习的边界。像半监督和自监督学习这样的方法能够从无标签数据中提取有价值的见解当无监督数据的数量呈指数增长时这些见解就变得非常有价值。随着任务变得越来越复杂复合学习将一个任务分解为几个更简单的组件。当这些组件一起工作或者相互对抗就可以得到一个更强大的模型。深度学习已经进入炒作阶段而简化学习还没有得到太多关注但很快就会出现足够实用并且是以部署为中心的设计。感谢阅读未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
