免费素材网站图库,湖南金科建设有限公司网站,如何在学校内网建立网站,cms系统免费1、为什么小模型的作为backbone效果会差#xff1f;在深度学习目标检测(图像分割)领域#xff0c;我们发现当我们使用层数越深#xff0c;并且在imagenet上表现越好的分类网络作为backbone时#xff0c;它的检测和分割效果越好效果越好。比如我们使用resnet101作为backbone…1、为什么小模型的作为backbone效果会差在深度学习目标检测(图像分割)领域我们发现当我们使用层数越深并且在imagenet上表现越好的分类网络作为backbone时它的检测和分割效果越好效果越好。比如我们使用resnet101作为backbone时候faster_rcnn在coco2017检测数据集上的mAP可以达到40.1而使用resnet50作为backbone时候mAP只达到37.1。而ssd使用resnet50作为backbone时候mAP达到30.6使用mobilenet作为backbone只达到21.7。参看gluoncv公布的训练结果。Detection - gluoncv 0.5.0 documentationgluon-cv.mxnet.io那为什么使用mobilenet这种小网络会比resnet101这种大网络效果差这么多呢主流的想法是小网络的容量小、表现效果差等等。那到底是那么原因呢我们可以观察gluoncv官网的ssd_mobilenet[1]和ssd_resnet50[2]在coco上的训练log。我们发现ssd_resnet50[2]的CrossEntropy和SmoothL1最终收敛到2.14和1.22左右而ssdmobilenet 的CrossEntropy和SmoothL1最终收敛到2.84和3.29左右。同样我们可以去观察gluoncv官网的faster_rcnn分别在resnet50和在resnet101上的训练loss我们可以发现loss收敛的越小模型在coco 2017的验证集上的mAP越高。并且当backbone使用fpn的方法增大了模型的体积模型的loss会将的更低相应的mAP也越高。由此我个人认为使用小模型的作为backbone的迁移学习任务(尤其是目标检测任务)效果差的真正原因是模型欠拟合。2、你的神经网络真的收敛了么既然知道小网络作为backbone效果差的真正原因是模型欠拟合那如果我们要提高小网络的效果最主要的任务就是降低小网络的loss(当然大网络的loss如果被进一步降低效果自然越好比如可以观看faster_rcnnfpnresnet101就比faster_rcnnresnet101的loss低一点点,当然效果也就提升一点点)。而我们不妨假设如果小网络最终”收敛“的loss如果可以达到大网络收敛的loss那小网络能否达到大网络的效果呢可能由于小网络的容量小参数少很难收敛到大网络的最终收敛的loss。当然方法是人想的不然怎么能发paper。我个人认为降低小网络的loss主要有两种方式1、提高效果的模型体积如FPNDLAshortcutconcat 等等。不过当模型体积增大到一定程度他所能得到的收益也越小比如可以观看gluoncv官网的log。faster_rcnnfpnresnet101就比faster_rcnnresnet101的loss低一点点,当然效果也就提升一点点。而faster_rcnnfpnresnet50就比faster_rcnnresnet50的loss低很多,当然效果也就提升也高了很多。2、改变训练方式比如很早提出的知识蒸馏2018年的cascade rcnn和snip,以及2019年的各种anchor free都是改变训练方式虽然他们的动机各不相同但是我觉得大部分都是进一步降低loss提高模型的效果。第一种方式对于个人觉得对于做模型压缩的人来说不太可取而第二种方式才是主要考虑方向。对于改变训练方式的方法读者可以参看我的上一篇文章对抗蒸馏使用对抗生成网络和cosine attention的机制将大网络的知识迁移到小网络进一步降低小网络最终的收敛loss。目前开放的使用ssd_resnet50作为teacher net ssd_mobilenet作为student net在voc数据集上将ssd_mobilenet的CrossEntropy和SmoothL1最终收敛到1.388 0.659mAP达到78.2而原始ssd_mobilenet在voc上的CrossEntropy和SmoothL1最终收敛到1.962 0.944mAP达到75.4由于gpu资源限制目前在coco上还没训练完。疯狂三角肌GAN-KD for one-stage object-detectionzhuanlan.zhihu.com训练log地址为记得给star啊。p517332051/GAN-Knowledge-Distillation-SSDgithub.com通过这种方法我发现小网络并非不是不可以继续收敛而是训练方式得到改善自然可以继续降低他的loss而随之loss降低网络的效果可以进一步提升。期望我的方法能起到抛砖引玉的效果能推动学术界和工业界神经网络压缩的工作的进展。参考^https://raw.githubusercontent.com/dmlc/web-data/master/gluoncv/logs/detection/ssd_512_mobilenet1_0_coco_train.log^abhttps://raw.githubusercontent.com/dmlc/web-data/master/gluoncv/logs/detection/ssd_512_resnet50_v1_coco_train.log
