单页面个人网站,wordpress 好用的插件,网站换主题,广州网站建设开发团队阿里妹导读#xff1a;随着深度学习#xff0c;尤其是CNN和RNN等技术的飞速发展#xff0c;文字识别技术(OCR)近几年得到了迅速的提升。与此同时#xff0c;在智能化终端的大趋势下#xff0c;本地化智能识别凭借更高效快捷的体验以及高度的隐私保护和零流量消耗等优势备受…
阿里妹导读随着深度学习尤其是CNN和RNN等技术的飞速发展文字识别技术(OCR)近几年得到了迅速的提升。与此同时在智能化终端的大趋势下本地化智能识别凭借更高效快捷的体验以及高度的隐私保护和零流量消耗等优势备受瞩目和亲睐越来越多的应用算法开始倾向终端化完成OCR也不例外。接下来蚂蚁金服的算法专家亦弦为我们剖析这个轻量而精准的移动端OCR引擎——xNN-OCR。 背景及概述
移动端OCR的优势
受算法效率和算法模型大小的限制和约束目前大部分的OCR端上应用都是上传图片到服务端识别再将识别结果回传到客户端。虽然满足了部分业务需求但一方面对一些实效性要求较高的业务场景来说用户体验无疑是一个巨大的损失尤其是弱网环境下。另一方面在面临大促业务并发请求量过大的情况下服务端不得不采用降级方案而如果端上也具备识别能力的话便可以极大地减少服务端的压力。此外涉及到身份证、银行卡等重要私人证件采用OCR进行信息提取的时候端上“识完即焚”这种方式对这种敏感数据和隐私保护来说是天然的堡垒。因此具备终端OCR识别能力有着极其重要的业务价值和意义。
移动端OCR的难点
OCR采用深度学习技术使得识别精度在特定的场景下面有了一定的保障但模型大小和速度问题在端上依然是一大难题。目前大部分的后台OCR模型通常几十M或者上百M可能比整个App安装包都要大是不可能直接放到移动端的而如果走实时下载的办法模型过大也会造成下载失败率高、等待时间长、App占用空间大、流量消耗大等问题。另外现在很多OCR算法在云端GPU上运行尚且需要几十到上百毫秒要在手机CPU上保持较高的运行效率是一个极大的挑战。
我们做了什么——xNN-OCR
xNN-OCR是专门针对移动端本地识别研发的的高精度、高效率、轻体量文字识别引擎目前支持场景数字、场景英文、场景汉字以及特殊符号的识别。xNN-OCR针对移动端开发和优化了一套基于深度学习的文字检测和文字行识别算法框架结合xNN的网络压缩和加速能力检测和识别模型可以压缩到数百K级别在中端及以上手机CPU上达到实时最高15FPS可结合“扫一扫”的模式在视频流中做到所见即所得。
移动端OCR识别技术
移动端OCR技术主要分为二个方面一是OCR算法框架的研究和优化主要目标是探索高精度且轻量级的检测和识别框架确保在压缩之前模型的大小和速度在一个适当的范围以内二是利用xNN对模型进行剪枝和量化压缩到实际应用需要的大小。下图是我们以银行卡检测和识别模型为例子展示整个压缩流程精度和模型的变化其他OCR场景识别均是类似流程。 银行卡检测/识别模型压缩
轻量级OCR算法框架的探索
目前大部分的移动端OCR技术都是以传统算法为主在复杂自然场景下识别率相对较低而基于深度学习的方案可以很好的解决这一类问题识别率和稳定性远超传统算法。目前主流的深度学习OCR主要分为文字行检测和行识别两大块下面我们分别介绍下
文字行检测
在检测方面我们将物体检测的Region-CNN框架与FCN的图像分割框架融合在一起保留了FCN的简单框架以适应端上对模型尺寸和预测时间的要求同时又在模型中加入了目标检测的位置回归模块实现了对任意形状文本的检测能力。在基于FCN的整体框架中为了在精简模型的同时不降低检测效果我们采用了各种模型精简结构例如Separable Convolution、Group Convolution Channel Shuffle等如下图模型的尺寸虽然不断减小精度并未随之下降,在满足端上对模型的苛刻限制的同时取得了较好的检测效果。 Group Convolution Channel Shuffle
文字行识别
在识别方面我们在CRNN(CNNLSTMCTC)框架基础上进行了优化改进在Densenet的基础上结合Multiscale Feature、Channel-wise Attention等技术设计出了一套专门用于移动端文字行识别的轻量级CNN网络同时对LSTM内部参数采用Project技术、全连接层采用SVD、BTD等降维技术进一步减少参数数量(如下图)在ICDAR2013数据集(NOFINETUNE)上模型大小下降约50%的前提下识别率高出CRNN近4个点这一改进优化点为上端打下了强有力的基础。 LSTM Projection
xNN模型压缩
目前我们的OCR算法模型都是基于tensorflow开发的xNN已经增加了对TFLite模型的支持并且在性能上已经远超TFLite。xNN对于我们OCR算法的模型压缩比在10-20倍之间不同的场景稍微有些区别与此同时压缩后模型的精度基本保持不变。由于OCR是一个较复杂的识别任务算法模型通常都非常大并且目前大部分的后台OCR算法都是在GPU上运行要想在端上运行除了需要在算法层次上做很多优化外更需要xNN强大的模型压缩和加速能力。
移动端OCR应用
OCR技术是信息提取和场景理解极其重要的技术手段之一应用领域非常广泛。目前移动端本地OCR应用从技术角度可以分为2大类一类是印刷体文字识别主要是针对字体变化不大、背景单一的场景例如身份证识别、名片识别、车牌识别等等另一类是场景类文字识别主要是针对字体变化大且背景复杂的场景例如银行卡识别、燃气表/水表识别、门头名识别、场景英文识别AR翻译等等这两类场景中后者识别难度较大面临的挑战性更多。我们将xNN-OCR用于这些场景并根据场景的特点做了各种优化取得了一系列的成果特别是在复杂环境下面识别依然可以保持高效和精准具体的数据如下表。下面简介了几个比较重要和常见的应用场景。 OCR部分业务场景数据指标
银行卡识别银行卡识别是金融类行业非常重要的一项技术是场景数字类识别的一个典型代表。目前大部分银行卡识别均是采用端上识别的方案因为端上识别不仅能带来更好更快的体验同时由于不需要数据上传也能一定程度保护用户的隐私数据。基于xNN-OCR开发的银行卡识别在中端手机上耗时300ms大部分银行卡都是秒识别。此外在面对复杂背景以及复杂环境干扰的时候xNN-OCR在识别速度和精度上均展现了非常明显的优势。燃气表识别通过OCR识别燃气表读数是目前燃气自助抄表中的一项关键性技术相比于传统上门抄表一方面可以节省很大的人力物力避免上门抄表带来的麻烦另外一方面也可以减少漏抄、误抄等问题。目前已经有很多燃气公司已经开始应用这一项技术但实际应用过程中由于燃气表的位置有时候比较隐蔽拍摄角度和光照难以控制通常一般的用户拍照上传到后台识别的图片质量都比较差识别率偏低。xNN-OCR在端上完成整套识别流程通过识别反馈引导用户拍摄可较大程度的提升识别率在与一家燃气公司的合作中我们测试识别率可以达到93%模型尺寸可保持在500k以内识别成功耗时1s。车牌/VIN码识别车牌/VIN码识别是传统印刷体类文字应用的一个经典场景在移动警务、车辆维修定损等日常场景中起着非常重要的作用。由于车牌/VIN码识别在实际应用中可能同时需要为了避免交互流程上的繁琐以及端上2套算法模型过大xNN-OCR将车牌和VIN码这2个场景识别合二为一模型尺寸依然500k在中端手机上识别成功耗时1s并且对光照、模糊、拍摄角度等干扰因素不敏感同时由于端上可以反复识别寻求置信度最高的结果作为最终结果所以相对于后台识别“一锤子买卖”而言在识别精度上会更胜一筹。身份证识别身份证识别也是金融类行业非常重要的一项技术在实名认证、安全审核等场景起着非常重要的作用但由于中文汉字字库较大导致模型较大目前大部分的身份证识别均采用的是服务端识别但由于端侧质量难以控制往往会导致体验和精度上面难以均衡。xNN-OCR在大字库中文识别方面也作出了一些突破整体模型小于1M在端侧用单字识别信度控制识别精度避免了对图片质量判断的依赖通过多帧融合提升识别效率单次识别中端手机上600ms识别成功2s。
展望
xNN-OCR目前在端上已经能较好的识别场景数字、英文以及部分汉字无论是模型大小、速度、准确度均已达到工业应用的水平并且全面超过基于传统算法识别的OCR端上应用在多个实际应用项目中对比得以验证。另外我们在端上全量7000多类汉字识别上也做出了一些成果在不久的将来会分享出来欢迎有兴趣的同学来一起研究和探讨。
我们坚信随着深度学习的移动端化逐步增强和移动硬件设备的逐步升级终端智能化的应用与业务将会越来越多未来xNN-OCR必将会给OCR相关的业务带来更深远的影响和更高的价值。
原文链接 本文为云栖社区原创内容未经允许不得转载。
