博山网站建设,玉林网站设计,山西做网站流程步骤,源码买卖网站All_in_One_Bad_Weather_Removal_Using_Architectural_Search
这篇论文发表于CVPR2020#xff0c;提出一种可以应对多种恶劣天气的去噪模型#xff0c;可以同时进行去雨、去雪、去雾操作。但该部分代码似乎没有开源。 提出的问题#xff1a; 当下的模型只能针对一种恶劣天气…All_in_One_Bad_Weather_Removal_Using_Architectural_Search
这篇论文发表于CVPR2020提出一种可以应对多种恶劣天气的去噪模型可以同时进行去雨、去雪、去雾操作。但该部分代码似乎没有开源。 提出的问题 当下的模型只能针对一种恶劣天气进行处理无法适用于多种复杂恶劣天气 目前的去噪数据集都是人为制作的与真实数据具有差异。
创新点1多合一去噪模型
该方法整体结构如下图所示其基于对抗神经网络模型进行设计包含一个生成器(Generator)与一个判别器(Discriminator)。于以往只能处理一种恶劣天气噪声不同本文提出一种多合一去噪模型可以同时完成去雨、去雪、去雾操作。 在生成器中主要包含三个特征提取模块雨雪雾 FEFeature Exactor)一个特征选择模块(Feature Search)以及一个解码器模块Decoder)判别器则进行判断生成的图像是否为真并将结果返回到生成器计算损失并通过反向传播更新生成器中的参数。
生成器含有多个任务的编码器每个编码器与特定的恶劣天气类型相关通过神经架构搜索来优化从各个编码器中提取的图像特征并将这些特征转换为干净的图像。即思路为将含有雨雪雾的图像输入生成器通过生成器中的编码器FE)进行特征提取将提取的特征通过神经架构搜索进行优化选取好的特征信息将提取的特征信息送入解码器生成干净图像即完成去噪过程。
生成器模块
多个编码器用于提取不同恶劣天气图像的干净特征从而进行恢复生成干净图像。
创新点2Feature Search模块
神经架构查询实际是找到干净的特征将干净的特征转换为干净的图像。 可以看到FeatureSearch模块中除了常规的卷积操作外还有残差连接自注意力机制等。 常规的去雾、去霾模型定义如下
也可以表示如下通过1x1卷积来提取学习M从而估计M实现的操作如4.1所示。 创新点3多类辅助判别器
基于生成对抗网络GNN)的判别器通过训练来判断恢复图像效果即判断生成的图像真实性但其不提供错误信号对于多合一模型而言只知道真假是远远不够的需要直到生成的图像类型从而使编码器根据不同类型更新参数因此提出多类辅助判别器用于对图像进行分类从而在反向传播判别损失时只更新对应判别器的参数。 具体思路
雾霾图像建模 其中I(x)为有雾图像更具体的I(x)是在位置x的雨图像J(x)为观察目标反射光即去雾后的图像A为大气光系数t(x)为大气透射率t(x) e^-βd(x)其中d(x) 为场景深度图β 为大气光散射系数。由公式1式可以清晰知道只要求得 t(x) 和 A 便可以从有雾图像 I(x) 恢复无雾图像 J(x) 。
而含雨图像与含雾图像的物理模型极为相似故可以定义为 其中Ri代表第 i 层的雨线。
雨水图像建模 其中I(x)是彩色雨滴图像M(x)是二值图像掩膜。J(x)是背景图像即干净图像K是图像所带来的附着的雨滴代表着模糊的影像形成光线反射的环境。
雪花图像建模 其中S表示雪花z是二元掩模表示雪的位置。
根据上面的物理模型公式可知不同恶劣天气噪声图像定义是不同的这也是为何原本的模型都是一个模型处理一种恶劣天气噪声的原因但根据公式我们也可以看到其内在联系可以将恶劣天气噪声图像模型定义如下
