装修设计图网站排名,wordpress顶部菜单调用,如何创办自己的网站,微信网站开发设计点击上方“CVer”#xff0c;选择加星标或“置顶”重磅干货#xff0c;第一时间送达本文转载自#xff1a;晓飞的算法工程笔记为了优化进化算法在神经网络结构搜索时候选网络训练过长的问题#xff0c;参考ENAS和NSGA-III#xff0c;论文提出连续进化结构搜索… 点击上方“CVer”选择加星标或“置顶”重磅干货第一时间送达本文转载自晓飞的算法工程笔记为了优化进化算法在神经网络结构搜索时候选网络训练过长的问题参考ENAS和NSGA-III论文提出连续进化结构搜索方法(continuous evolution architecture search, CARS)最大化利用学习到的知识如上一轮进化的结构和参数。首先构造用于参数共享的超网从超网中产生子网然后使用None-dominated排序策略来选择不同大小的优秀网络整体耗时仅需要0.5 GPU day论文: CARS: Continuous Evolution for Efficient Neural Architecture Search论文地址https://arxiv.org/abs/1909.04977Introduction 目前神经网络结构搜索的网络性能已经超越了人类设计的网络搜索方法大致可以分为强化学习、进化算法以及梯度三种有研究表明进化算法能比强化学习搜索到更好的模型但其搜索耗时较多主要在于对个体的训练验证环节费事。可以借鉴ENSA的权重共享策略进行验证加速但如果直接应用于进化算法超网会受到较差的搜索结构的影响因此需要修改目前神经网络搜索算法中用到的进化算法。为了最大化上一次进化过程学习到的知识的价值论文提出了连续进化结构搜索方法(continuous evolution architecture search, CARS) 首先初始化一个有大量cells和blocks的超网(supernet)超网通过几个基准操作(交叉、变异等)产生进化算法中的个体(子网)使用Non-dominated 排序策略来选取几个不同大小和准确率的优秀模型然后训练子网并更新子网对应的超网中的cells在下一轮的进化过程会继续基于更新后的超网以及non-dominated排序的解集进行。另外论文提出一个保护机制来避免小模型陷阱问题Approach 论文使用基因算法(GA)来进行结构进化GA能提供很大的搜索空间对于结构集为种群大小。在结构优化阶段种群内的结构根据论文提出的pNSGA-III方法逐步更新。为了加速使用一个超网用来为不同的结构共享权重能够极大地降低个体训练的计算量Supernet of CARS 从超网中采样不同的网络每个网络可以表示为浮点参数集合以及二值连接参数集合其中0值表示网络不包含此连接1值则表示使用该连接即每个网络可表示为对 完整的浮点参数集合是在网络集合中共享如果这些网络结构是固定的最优的可通过标准反向传播进行优化优化的参数适用于所有网络以提高识别性能。在参数收敛后通过基因算法优化二值连接参数优化阶段和结构优化阶段是CARS的主要核心Parameter Optimization 参数为网络中的所有参数参数为mask操作只保留对应位置的参数。对于输入网络的结果为为-th个网络为其参数 给定GT 预测的损失为则的梯度计算如公式1 由于参数应该适用于所有个体因此使用所有个体的梯度来计算的梯度计算如公式2最终配合SGD进行更新 由于已经得到大量带超网共享参数的结构每次都集合所有网络梯度进行更新会相当耗时可以借鉴SGD的思想进行min-batch更新。使用个不同的网络进行参数更新编号为。计算如公式3使用小批量网络来接近所有网络的梯度能够极大地减少优化时间做到效果和性能间的平衡Architecture Optimization 对于结构的优化过程使用NSGA-III算法的non-dominated排序策略进行。标记为个不同的网络为希望优化的个指标一般这些指标都是有冲突的例如参数量、浮点运算量、推理时延和准确率导致同时优化这些指标会比较难 首先定义支配(dominate)的概念假设网络的准确率大于等于网络并且有一个其它指标优于网络则称网络支配网络在进化过程网络可被网络代替。利用这个方法可以在种群中挑选到一系列优秀的结构然后使用这些网络来优化超网对应部分的参数 尽管non-dominated排序能帮助选择的更好网络但搜索过程仍可能会存在小模型陷阱现象。由于超网的参数仍在训练所以当前轮次的模型不一定为其最优表现如果存在一些参数少的小模型但有比较高的准确率则会统治了整个搜索过程。因此论文基于NSGA-III提出pNSGA-III加入准确率提升速度作为考虑 假设优化目标为模型参数和准确率对于NSGA-III会根据两个不同的指标进行non-dominated排序然后根据帕累托图进行选择。而对于pNSGA-III额外添加考虑准确率的增长速度的non-dominated排序最后结合两种排序进行选择。这样准确率增长较慢的大模型也能得到保留。如图2所示pNSGA-III很明显保留的模型大小更广且准确率与NSGA-III相当Continuous Evolution for CARS CARS算法的优化包含两个步骤分别是网络结构优化和参数优化另外在初期也会使用参数warmupParameter Warmup由于超网的共享权重是随机初始化的如果结构集合也是随机初始化那么出现最多的block的训练次数会多于其它block。因此使用均分抽样策略来初始化超网的参数公平地覆盖所有可能的网络每条路径都有平等地出现概率每种层操作也是平等概率在最初几轮使用这种策略来初始化超网的权重Architecture Optimization在完成超网初始化后随机采样个不同的结构作为父代为超参数后面pNSGA-III的筛选也使用。在进化过程中生成个子代是用于控制子代数的超参最后使用pNSGA-III从中选取个网络用于参数更新Parameter Optimization给予网络结构合集使用公式3进行小批量梯度更新Search Time Analysis CARS搜索时将数据集分为数据集和验证集假设单个网络的训练耗时为验证耗时warmup共周期共需要时间来初始化超网的参数。假设进化共轮每轮参数优化阶段对超网训练周期所以每轮进化的参数优化耗时为mini-batch大小。结构优化阶段所有个体是并行的所以搜索耗时为。CARS的总耗时如公式5ExperimentsExperimental Settingssupernet Backbones 超网主干基于DARTS的设置DARTS搜索空间包含8个不同的操作包含4种卷积、2种池化、skip连接和无连接搜索normal cell和reduction cell分别用于特征提取以及下采样搜索结束后根据预设将cell堆叠起来Evolution Details 在DARTS中每个中间节点与之前的两个节点连接因此每个节点有其独立的搜索空间而交叉和变异在搜索空间相对应的节点中进行占总数的比例均为0.25其余0.5为随机生成的新结构。对于交叉操作每个节点有0.5的概率交叉其连接而对于变异每个节点有0.5的概率随机赋予新操作Experiments on CIFAR-10Small Model Trap 图3训练了3个不同大小的模型在训练600轮后模型的准确率与其大小相关从前50轮的曲线可以看出小模型陷阱的原因小模型准确率上升速度较快小模型准确率的波动较大 在前50轮模型C一直处于下风若使用NSGA算法模型C会直接去掉了这是需要使用pNSGA-III的第一个原因。对于模型B和C准确率增长类似但由于训练导致准确率波动一旦模型A的准确率高于BB就会被去掉这是需要使用pNSGA-III的第二个原因NSGA-III vs. pNSGA-III 如图2所示使用pNSGA-III能避免小模型陷阱保留较大的有潜力的网络Search on CIFAR-10 将CIFAR分为25000张训练图和25000张测试图共搜索500轮参数warmup共50轮之后初始化包含128个不同网络的种群然后使用pNSGA-III逐渐进化参数优化阶段每轮进化训练10周期结构优化阶段根据pNSGA-III使用测试集进行结构更新Search Time analysis 对于考量模型大小和准确率的实验训练时间为1分钟测试时间为5秒warmup阶段共50轮大约耗费1小时。而连续进化算法共轮对于每轮结构优化阶段并行测试时间为对于每轮的参数优化阶段设定大约为10分钟大约为9小时所以为0.4 GPU day考虑结构优化同时要计算时延最终时间大约为0.5 GPU dayEvaluate on CIFAR-10 在完成CARS算法搜索后保留128个不同的网络进行更长时间的训练然后测试准确率Comparison on Searched Block CARS-H与DARTS参数相似但准确率更高CARS-H的reduction block包含更多的参数而normal block包含更少的参数大概由于EA有更大的搜索空间而基因操作能更有效地跳出局部最优解这是EA的优势Evaluate on ILSVRC2012 将在CIFAR-10上搜索到网络迁移到ILSVRC22012数据集结果表明搜索到的结构具备迁移能力CONCLUSION 为了优化进化算法在神经网络结构搜索时候选网络训练过长的问题参考ENAS和NSGA-III论文提出连续进化结构搜索方法(continuous evolution architecture search, CARS)最大化利用学习到的知识如上一轮进化的结构和参数。首先构造用于参数共享的超网从超网中产生子网然后使用None-dominated排序策略来选择不同大小的优秀网络整体耗时仅需要0.5 GPU day参考内容Pareto相关理论 (https://blog.csdn.net/qq_34662278/article/details/91489077)推荐阅读2020年AI算法岗求职群来了(含准备攻略、面试经验、内推和学习资料等)重磅CVer-NAS交流群已成立扫码添加CVer助手可申请加入CVer-NAS微信交流群旨在交流AutoML(NAS)等的学习、科研、工程项目等内容。一定要备注研究方向地点学校/公司昵称(如NAS上海上交卡卡)根据格式备注可更快被通过且邀请进群▲长按加群▲长按关注我们麻烦给我一个在看
