网站flash导入页,小程序源码什么意思,电子商城前端模板,秦皇岛网站制作与网站建设来源#xff1a;半导体行业观察 概要#xff1a;机器视觉的视力为何如此之强#xff1f;关键在于芯片#xff0c;核心是将一些特定图像算法用芯片方式实现#xff0c;同时融入了深度学习和神经网络算法。 机器能否比人眼看得更清楚#xff1f;近年来#xff0c;随着CV(C… 来源半导体行业观察 概要机器视觉的视力为何如此之强关键在于芯片核心是将一些特定图像算法用芯片方式实现同时融入了深度学习和神经网络算法。 机器能否比人眼看得更清楚近年来随着CV(Computer Vision)芯片产品不断推出这一疑惑正在慢慢变成现实。就如AlphaGo战胜“围棋天才”柯洁一样在某些应用场景机器视觉因其准确性、客观性、稳定性比人类生理视觉更具优势。 在我们通常的印象中一个视力正常的人可以迅速且毫不费力地感知世界甚至可以详细生动得感知整个视觉场景但其实这只是一个错觉人类生理视觉有着天然的局限只有投射到眼球中心视觉场景的中间部分我们才能详细而色彩鲜明地看清楚。比起人眼来CV其实具备了相当多的优势详见表一可以清楚的看到CV的视力已经远不止5.0了 表一机器视觉相对人眼的优势 机器视觉的视力为何如此之强关键在于芯片核心是将一些特定图像算法用芯片方式实现同时融入了深度学习和神经网络算法。 机器视觉原理--图像处理和算法 机器视觉或称计算机视觉是用一个可以代替人眼的光学装置和传感器来对客观世界三维场景进行感知即获取物体的数字图像利用计算机或者芯片结合专门应用软件来模拟人脑的判断准则而对所获取的数字图像进行测量和判断。该技术已广泛用于实际的测量、控制和检测中随着芯片技术发展在人工智能各个领域应用也逐步展开。 图一机器视觉代替人眼抽象图 觉技术不仅在理论而且在应用上都得到了高速发展。 表二 各种机器视觉物体运动检测算法比较 帧间差分法的适应环境能力强、计算量小、且稳定性好是目前应用广泛的一类运动检测方法。其原理是将相帧或者三帧序列图像像素点的对应灰度值进行相减如果灰度差值大于阈值则说明此处物体发生了变化它是运动的如果像素的灰度差值小于给定阈值说明此处物体没有发生变化认为它是静止的。将像素灰度值发生变化的部分标记出来这些被标记的点就组成了运动目标区域。进一步对灰度图像进行二值化分析提取目标运动信息区分出前景和背景图像进而分割出运动目标。 背景减除法其实是一种特别的帧间差分法背景减除法根据将当前帧图像与背景模型做差来实现对运动目标的检测。这种方法首先获取背景模型并将其保存起来当对某一帧图像进行检测时用实时获取的帧图像与背景模型做差分运算得到要检测的运动目标。 机器视觉的应用 历史 最早的机器视觉提出开始与上个视觉60年代随后1973年美国自然科学基金会制定了1973-1982 视觉系统和机器人的发展计划并研究成功了一些实用的视觉系统应用于机械手定位、集成电路生产、精密电子产品装配、饮料罐装的检验等场合后来在PCB制作工艺中也采用机器视觉系统用于印制电路板的质量监测等。除了在生产制造领域外军事领域也广泛应用如精确的制导系统等无人机的自动导航等还有CV也应用在生物实验等领域用于监测生物各个生产规律通过加速视频播放来呈现生物生长等过程在汽车自动驾驶领域CV芯片也有不断深入的应用。 现在 在当今这个时代计算机视觉领域呈现出很多新的趋势其中最为显著的一个就是应用的爆炸性增长。除了手机、个人电脑和工业检测之外计算机视觉技术在智能安防、机器人、自动驾驶、智慧医疗、无人机、增强现实AR等领域都出现了各种形态的应用方式。计算机视觉迎来了一个应用爆炸性增长的时代目前的应用如下图所示主要以运动控制为主。 图二当前机器视觉多种应用方式 随着各个领域技术不断发展许多科技巨头也开始了在图像识别和人工智能领域的布局Facebook签下的人工智能专家Yann LeCun最重大的成就就是在图像识别领域其提出的LeNet为代表的卷积神经网络在应用到各种不同的图像识别任务时都取得了不错效果被认为是通用图像识别系统的代表之一Google 借助模拟神经网络“DistBelief”通过对数百万份YouTube 视频的学习自行掌握了猫的关键特征这是机器在没有人帮助的情况下自己读懂了猫的概念。值得一提的是负责这个项目的Andrew NG已经转投百度领导百度研究院其一个重要的研究方向就是人工智能和图像识别。这也能看出国内科技公司对图像识别技术以及人工智能技术的重视程度。 未来 机器视觉领域的应用将呈现了爆发式的增长态势。刚才已经提到在安防监控、高度的自动化驾驶、增强现实、医疗图像、机器人工业视觉、移动互联网等领域都有众多的计算机视觉应用产生。CV芯片的成熟量产将使得人类生活在一个无所隐藏的时代每个带有CV芯片的摄像头就是一双双视力远远高于5.0的眼睛并且超强的分析判断能力当然人工智能的有序应用最终将造福人类。图是对2014年至2018年全球机器视觉系统及部件机器视觉市场规模预测图中折线为年增长率由图根据复合增长率可以计算出2014-2018年的复合增长率为8.39%。 图三全球机器视觉市场规模预测 CV(Computer Vision)芯片公司与特点 国内进展 国内的机器视觉相关公司有一些大部分都是属于视觉芯片产品应用型公司而半导体芯片制造公司比较少。 格灵深瞳是一家将计算机视觉和深度学习技术应用于商业领域的科技公司自主研发的深瞳技术在人和车的检测、跟踪与识别方面居于世界领先水平。公司借助海量数据让计算机像人一样看懂这个世界实时获取自然世界正在发生的一切打造自然世界的搜索引擎。华为海思在机器视觉这块也积极布局但是目前还没有成熟量产CV芯片推出。 中星微电子 中星微电子是国内为数不多的一家机器视觉芯片设计公司其芯片的主要功能在人脸识别领域的应用。2016年6月20日中星率先推出中国首款嵌入式神经网络处理器NPU芯片中星微这是全球首颗具备深度学习人工智能的嵌入式视频采集压缩编码系统级芯片并取名“星光智能一号”。这款基于深度学习的芯片运用在人脸识别上最高能达到98%的准确率超过人眼的识别率。该芯片于2016年3月6日实现量产目前出货量为十几万件。该NPU采用了“数据驱动”并行计算的架构单颗NPU28nm能耗仅为400mW极大地提升了计算能力与功耗的比例可以广泛应用于高清视频监控、智能驾驶辅助、无人机、机器人等嵌入式机器视觉领域。 图四中星微NPU框架 国外发展 NEXTCHIP 韩国NEXTCHIP公司1997年成立2007年在韩国已经上市是一个以图像处理技术为主的公司。公司的产品设计视频监控、DVR、SOC、自动驾驶系统中的核心芯片均是以图形处理、传输为主的半导体芯片厂家。公司涉及机器视觉领域芯片是在自动驾驶系统的应有中主打产品APACHE4是瞄准下一代的ADAS体系的SOC芯片。 APACHE4加入了专用检测引擎支持行人检测、车辆检测、车道检测和移动物体检测四种监测类型。嵌入其中的CEVA-XM4图像和视觉平台可让APACHE4的客户使用高阶软件编程来开发差异化的ADAS应用具体应有如下图在车辆系统的前后左右都有图像采集系统搭配一颗APACHE4并将采集数据送入到图像分析系统ECU并将分析结果送入汽车操控系统。 图五APACHE4在汽车自动驾驶中应用 Movidius Movidius是一家无晶圆半导体公司2016年9月英特尔宣布将收购计算机视觉创业公司Movidius这家公司也是谷歌Project Tango 3D传感器技术背后的功臣。Movidius的使命是“为机器赋予视觉能力”同时也将与英特尔的RealSense技术配合。该公司主要产品为低功耗视觉处理器Myriad 系列 VPU而且已经与谷歌、联想和大疆等公司签订了协议。 DJI大疆宣布推出最新的无人机产品Phantom 4。这款飞行器采用计算机视觉来实现自主飞行核心的机器视觉芯片就是采用了Movidius的Myriad 2芯片。早在2014年Movidius推出的首颗芯片Myriad 1就应用到了谷歌的第一代Project Tango平板中。 2017年8月28日INTEL宣布推出Movidius Myriad X视觉处理器VPU该处理器是一款低功耗SoC主要用于基于视觉的设备的深度学习和AI算法加速比如无人机、智能相机、VR/AR头盔。 图六Myriad X视觉处理器 Myriad X的推出并不会取代Myriad 2。Movidius称Myriad X能在同一功率范围内的深度神经网络DNN推理中提供10倍于Myriad 2的性能。Myriad X拥有Movidius称之为神经计算引擎Neural Compute Engine的功能这是一种集成在芯片上的DNN加速器。 Movidius称有了它Myriad X的DNN推理吞吐量能达到每秒超过一万亿次运算TOPS。除了神经计算引擎SoC 16还具有可编程矢量处理器可配置MIPI通道和Vision Accelerator。矢量处理器使您能够一起运行多个成像和视觉应用。 此外MIPI通道确保您可以将多达8个HD-RGB摄像机直接连接到Myriad X.该芯片可以处理高达每秒7亿像素的图像信号。最后Vision Accelerator可以让您执行光流量和立体声深度等任务而无需额外的计算能力。与人类相媲美的视觉智能设备构成了计算的下一步, 随着低功耗的CV芯片的逐渐发展真正的AI离我们越来越近了。 Ambarella 美国安霸Ambarella是高清视频业界的技术领导者主要提供低功耗、高清视频压缩与图像处理的解决方案。2015年安霸收购意大利公司VisLab计划借此进入计算机视觉芯片市场。 安霸收购VisLab后包括“计算机视觉算法、传感器融合以及基于算法的感知、探测和决断”等在内的多项核心技术也将一并纳入安霸麾下同时安霸的汽车轨迹记录芯片以及基于摄像头的系统级芯片解决方案也是吸引VisLab加入的重要原因。 安霸本身是图像处理芯片公司同时一直在汽车行业也有出色的芯片应用有了机器视觉芯片后安霸在汽车自动驾驶领域将会起到更大作用。业界消息反馈目前安霸的机器视觉芯片CV1将在今秋送样。安霸的CV1未来取决于算法和软件最终是有没有可能投入到庞大的车队和达到LEVEL4的自动驾驶水平。 摩根士丹利证券分析师 Joseph Moore 指出“电脑视觉computer vision”蕴藏极大商机将创造出许多赢家安霸在影像处理领域的深厚专业知识使其处于独特的地位。安霸首款电脑视觉芯片将自今年秋季起开始送样并进行必要的车用认证程序。如果一切进行顺利安霸的电脑视觉芯片可望自明年起开始拉高产量。 Inuitive Inuitive是一家先进的3D计算机视觉和图像处理器设计厂家利用CEVA-XM4智慧视觉DSP的授权许可运行复杂的即时深度感测、特征跟踪、目标识别、深度学习和其它以各种行动设备为目标的视觉相关之演算法。 CEVA图像和视觉DSP满足最复杂计算摄影和电脑视觉应用对极端处理的需求比如视频分析、扩增实境和先进驾驶辅助系统(ADAS)。透过从CPU和GPU卸载下这些性能密集型的任务这些高效的DSP可大幅降低整体系统的功耗同时还可提供完整的灵活性。这些行动设备包括扩增实境和虚拟实境头戴耳机、无人机、消费机器人、360度相机和深度感测器等。 图七Inuitive视觉处理器NU3000 目前该公司在机器视觉的芯片有NU3000和NU4000 两款。NU4000是Inuitive在其NU3000多核影像处理器成功的基础之上所推出的新款产品NU3000以第三代的CEVA-MM3101图像和视觉DSP来提供立体视觉功能现在是Google Project Tango生态系统中的一部分开发人员能够利用它来开发需要即时深度产生、映射、定位、导航和其它复杂信号处理演算法的应用。 小结 从目前的数据看机器视觉领域目前是一个巨大的市场如下图预测预计在2018年市场容量将达到50.43亿美元的规模。面对如此巨大的市场并且核心的硬件芯片占了整套视觉系统大概35%的成本的情形下半导体行业各个大公司都对此领域虎视眈眈。但是因其技术壁垒较高需要有成熟的图像算法方面积累半导体公司也不敢贸然进入。 中国国内大部分是在视觉产品中下游公司设计生产专用机器视觉芯片公司凤毛麟角。从中国国内机器视觉专利申请数量看在二十年前几乎没有任何的专利创新2011年我国机器视觉专利申请数为267个2012年我国机器视觉专利申请数量为298个2013年为101个说明国内也在不断重视机器视觉这个领域试图在产业的高端有所突破。 放眼全球INTEL、安霸等半导体巨头在CV领域早有研究并且目前有成熟可量产的CV芯片上市在高端控制了整个机器视觉领域同时这些国际大公司也通过自己本身在行业的影响地位不断推动CV的各个行业的具体应用大力推动了整个CV行业的高速发展。 CV芯片未来发展趋势 从目前CV芯片的现状和机器视觉系统的应用来看芯片领域是一个非常巨大的市场是计算机视觉未来大规模应用的重要一环笔者认为未来的CV芯片有下面三大发展趋势。 趋势一CV芯片的集成度进一步提高。随着半导体加工工艺向6nm迈进单颗CV的集成度将大大提升。更高效的大卷积解构与复用机制成熟在超大神经网络中可以进一步减少总线上的数据通信可以适当深度学习和神经网络IP更加容易集成同时各种图形处理算法IP直接固化在CV芯片中降低了对GPU的计算能力依赖。未来的单颗CV芯片将会标配深度学习功能、神经网络功能和机器视觉处理、分析功能。 趋势二机器视觉芯片出现细分。CV芯片将随着应用领域不同而出现细分如分为专用的自动驾驶CV芯片、无人机导航CV芯片、AR/VR应用CV芯片等。因为在某个特殊领域随着机器视觉算法应用需求越来越多必然带来成本的需求以增加产品的利润所以在CV芯片上做costdown裁减非本领域的应用功能并不断深化该领域应用是必然的。 趋势三低功耗SOC方式。云端的方式通过端完成关键的机器视觉功能把处理结果传回云利用云端做分析判断。这种方式优势是减少网络带宽把视频处理运算由中心分散到前端这个笔者一定是未来的一个重要趋势。因此作为端的CV芯片必须是低功耗并且带有一定的CPU功能需要做到单颗电池续航能力持久并且具备一定的数据通信、任务调度功能。 在不久的将来机器眼时代将全面来临我们都准备好了吗
