网站图片分辨率,wordpress程序覆盖,wordpress app后端,外包经验会影响后续找工作吗文/微软亚洲研究院 代季峰 林思德 郭百宁识别图像对人类来说是件极容易的事情#xff0c;但是对机器而言#xff0c;这也经历了漫长岁月。在计算机视觉领域#xff0c;图像识别这几年的发展突飞猛进。例如#xff0c;在 PASCAL VOC 物体检测基准测试中#xff0c;检测器的… 文/微软亚洲研究院 代季峰 林思德 郭百宁识别图像对人类来说是件极容易的事情但是对机器而言这也经历了漫长岁月。在计算机视觉领域图像识别这几年的发展突飞猛进。例如在 PASCAL VOC 物体检测基准测试中检测器的性能从平均准确率 30% 飙升到了今天的超过 90%。对于图像分类在极具挑战性的 ImageNet 数据集上目前先进算法的表现甚至超过了人类。图像识别技术的高价值应用就发生在你我身边例如视频监控、自动驾驶和智能医疗等而这些图像识别最新进展的背后推动力是深度学习。深度学习的成功主要得益于三个方面大规模数据集的产生、强有力的模型的发展以及可用的大量计算资源。对于各种各样的图像识别任务精心设计的深度神经网络已经远远超越了以前那些基于人工设计的图像特征的方法。尽管到目前为止深度学习在图像识别方面已经取得了巨大成功但在它进一步广泛应用之前仍然有很多挑战需要我们去面对。与此同时我们也看到了很多具有未来价值的研究方向。挑战一如何提高模型的泛化能力图像识别技术在可以被广泛应用之前一个重要的挑战是怎样才能知道一个模型对未曾出现过的场景仍然具有很好的泛化能力。在目前的实践中数据集被随机划分为训练集和测试集模型也相应地在这个数据集上被训练和评估。需要注意的是在这种做法中测试集拥有和训练集一样的数据分布因为它们都是从具有相似场景内容和成像条件的数据中采样得到的。然而在实际应用中测试图像或许会来自不同于训练时的数据分布。这些未曾出现过的数据可能会在视角、大小尺度、场景配置、相机属性等方面与训练数据不同。一项研究表明数据分布上的这种差异会导致各种深度网络模型的准确率产生明显的下降。当前模型对数据分布自然变化的敏感性可能成为自动驾驶等关键应用的一个严重问题。挑战二如何利用小规模和超大规模数据我们需要面对的另一个重要的挑战是如何更好地利用小规模训练数据。虽然深度学习通过利用大量标注数据在各种任务中都取得了巨大的成功但现有的技术通常会因为只有很少的标记实例可用而在小数据情景中崩溃。这个情景通常被称为“少样本学习few-shot learning”并需要在实际应用中仔细考虑。例如一个家庭机器人被期望可以完成这样的任务向它展示一个新物体且只展示一次之后它便可以识别这个物体。一个人可以很自然地完成这个任务即使这个物体之后又被操作过了例如一个毛毯被折叠起来了。如何赋予神经网络像人类这样的泛化能力是一个开放的研究问题。另一个极端是如何利用超大规模数据有效地提高识别算法的性能。对于像自动驾驶这样的关键应用图像识别的出错成本非常高。因此研究者们创造出了非常庞大的数据集这些数据集包含了数以亿计的带有丰富标注的图像并且他们希望通过利用这些数据使模型的准确度得到显著提高。然而目前的算法并不能很好地利用这种超大规模数据。在包含了 3亿 张标注图片的 JFT 数据集上各种深度网络的性能随着训练数据量的增加仅仅呈现出对数级的提高图一。在大规模数据的情况下继续增加训练数据带来的收益会变得越来越不明显这是一个有待解决的重要问题。 图|目标检测在 JFT-300M 数据集上的性能随训练样例的增多呈对数倍的提高。x 轴是对数尺度下的数据大小。y 轴是目标检测的性能。左图使用 COCO minival 测试集上的mAP[0.5,0.95] 指标右图使用 PASCAL VOC 2007 测试集上的 mAP0.5 指标。红蓝两条曲线分别代表两种不同的模型。来源微软挑战三全面的场景理解除了这些与训练数据和泛化能力相关的问题外还有一个重要的研究课题是全面的场景理解。除了识别和定位场景中的物体之外人类还可以推断物体和物体之间的关系、部分到整体的层次、物体的属性和三维场景布局。获得对场景的更广泛的理解将会帮助例如机器人交互这样的应用因为这些应用通常需要物体标识和位置以外的信息。这个任务不仅涉及到对场景的感知而且还需要对现实世界的认知理解。要实现这一目标我们还有很长的路要走。全面的场景理解的一个例子为全景分割见图二。 图|(a) 原图(b) 语义分割识别天空、草地、道路等没有固定形状的不可数材质 (stuff)标记方法通常是给每个像素加上标签 (c) 实例分割分割人、动物或工具等可数且独立的物体实例 (object instance)通常用包围盒或分割掩码标记目标(d) 全景分割生成统一的、全局的分割图像既识别材质也识别物体。来源微软挑战四自动化网络设计最后一个值得一提的挑战是使网络设计自动化。近年来图像识别这一领域的重心从设计更好的特征转向了设计更新的网络架构。然而设计网络架构是一个冗长乏味的过程它需要处理大量的超参数和设计选择。调优这些元素需要有经验的工程师花费大量的时间和精力。更重要的是一个任务的最优架构和另一个任务的最优架构可能是完全不同的。尽管我们对自动神经架构搜索的研究已经开始了但它们仍然处于早期阶段并且仅适用于图像分类任务。当前方法的搜索空间非常狭窄因为它们寻找的是现有网络模块的局部最优组合例如深度可分离卷积和恒等连接并且无法发现新的模块。目前还不清楚这些现有的方法是否足以胜任更复杂的任务。 图|神经架构搜索算法的抽象图解。搜索策略首先从事先定义好的搜索空间 A 中选择一个架构 A这个构架接着被评估策略进行评估并将评估的 A 的性能传递给搜索策略。来源微软尽管在图像识别领域存在上述诸多挑战但我们仍然相信深度学习在图像识别领域的巨大潜力。解决这些问题的机会比比皆是下面我们看看这其中的几个研究方向方向一整合常识图像识别领域有一个重要的研究方向是将常识融入到深度学习中。目前深度学习主要作为一种纯粹的数据驱动技术被使用。在深度学习中神经网络利用训练集中的标注样本学习一个非线性函数之后在测试时则将这个学习到的函数作用到图片像素上。训练集之外的信息则一点也没有被用到。相比之下人类识别物体不仅基于已经看到的样本还基于他们有关真实世界的常识。人们能够对他们所看到的东西进行推理以避免不合逻辑的识别结果。此外当遇到新的或超出预期的东西时人类可以迅速调整他们的知识来解释这次的新经历。如何在深度网络中获取、表示常识以及利用常识进行推理是一个挑战。方向二几何推理联合执行图像识别和几何推理则是另一个有潜力的方向。图像识别的主要模型只考虑了二维外观而人类可以感知三维场景布局以及推断其内在的语义类别。三维布局不仅可以从双目视觉中获得还可以从二维输入的几何推理中得到就像人们看照片时所做的那样。联合图像识别和几何推理为双方都提供了好处。从几何推理中确定的三维布局可以帮助在看不见的视角、变形和外观的情况下引导识别。它还可以消除不合理的语义布局并帮助识别由其三维形状或功能定义的类别。例如沙发中存在着巨大的类内外观差异。然而它们拥有共同的属性可以帮助识别它们。比如它们都有一个水平面用来坐一个背面用于支撑。另一方面识别出来的语义可以规范化几何推理的解空间。例如如果一只狗在一个场景中被识别它相应的三维结构应该符合狗的三维形状模型。 图|从视频的两个不同视角的帧重建出复杂动态场景的点云来源微软方向三对关系建模关系建模也有很大的研究潜力。想要全面理解一个场景对场景中存在的目标实体之间的关系和相互作用的建模非常重要图四。考虑两张图片每个图片都包含一个人和一匹马。如果一张展示的是骑着马的人另一张展示的是踩着人的马显然这两张图片表达了完全不同的意思。此外通过关系建模提取的底层场景结构可以帮助补偿当前深度学习方法因数据有限而出现的模糊不确定等问题。尽管人们已经在努力解决关系建模这个问题但这项研究仍然是初步的并且还有很大的探索空间。 图|目标检测中的关系网络。表示物体的外表特征表示物体的几何特征来源微软方向四学习如何学习这里还有一个值得一提的方向是元学习它的目标是学习学习过程。这个课题最近引起了相当多的关注而且神经架构搜索也可以被认为是它的一种应用。然而由于目前对学习过程建模的机制、表示和算法还比较初级元学习的研究仍处于早期阶段。以神经架构搜索为例它只局限于现有网络模块的简单组合。元学习者无法捕捉到创作新网络模块所需的微妙的直觉和敏锐的洞察力。随着元学习的进步自动架构设计的潜力可能会被完全释放出来进而得到远超手工设计的网络结构。 图|元学习近期的进展。自左至右分别为元学习的超参数优化 、神经架构搜索 、少样本图像分类。来源微软这是一个激动人心的从事图像识别的时代一个充满了推动领域发展、影响未来应用的机会时代。我们热切盼望即将到来的进步并期待这些新技术以深刻而神奇的方式改变我们的生活。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
