第一次做网站时是怎样的心情,网站制作公司多少费用,小企业网站建设怎样,邢台建设企业网站费用工作中经常会使用到轻量级的网络模型来进行开发#xff0c;所以平时也会常常留意使用和记录#xff0c;在前面的博文中有过很多相关的实践工作#xff0c;感兴趣的话可以自行移步阅读即可。
《移动端轻量级模型开发谁更胜一筹#xff0c;efficientnet、mobilenetv2、mobil…工作中经常会使用到轻量级的网络模型来进行开发所以平时也会常常留意使用和记录在前面的博文中有过很多相关的实践工作感兴趣的话可以自行移步阅读即可。
《移动端轻量级模型开发谁更胜一筹efficientnet、mobilenetv2、mobilenetv3、ghostnet、mnasnet、shufflenetv2驾驶危险行为识别模型对比开发测试》
《基于Pytorch框架的轻量级卷积神经网络垃圾分类识别系统》
《基于轻量级卷积神经网络模型实践Fruits360果蔬识别——自主构建CNN模型、轻量化改造设计lenet、alexnet、vgg16、vgg19和mobilenet共六种CNN模型实验对比分析》
《探索轻量级模型性能上限基于GhostNet模型开发构建多商品细粒度图像识别系统》
《基于轻量级神经网络GhostNet开发构建的200种鸟类细粒度识别分析系统》
《基于MobileNet的轻量级卷积神经网络实现玉米螟虫不同阶段识别分析》
《python开发构建轻量级卷积神经网络模型实现手写甲骨文识别系统》
本文使用的是GhostNet模型GhostNet 是一种轻量级卷积神经网络是专门为移动设备上的应用而设计的。其主要构件是 Ghost 模块一种新颖的即插即用模块。Ghost 模块设计的初衷是使用更少的参数来生成更多特征图 (generate more features by using fewer parameters)。
官方论文地址在这里如下所示 官方也开源了项目地址在这里如下所示 可以详细阅读官方的代码实例即可之后可以基于自己的数据集来开发构建模型即可。
这里给出GhostNet的核心实现部分如下所示 class GhostNet(nn.Module):def __init__(self, cfgs, num_classes1000, width_mult1.0):super(GhostNet, self).__init__()self.cfgs cfgsoutput_channel _make_divisible(16 * width_mult, 4)layers [nn.Sequential(nn.Conv2d(3, output_channel, 3, 2, 1, biasFalse),nn.BatchNorm2d(output_channel),nn.ReLU(inplaceTrue),)]input_channel output_channelblock GhostBottleneckfor k, exp_size, c, use_se, s in self.cfgs:output_channel _make_divisible(c * width_mult, 4)hidden_channel _make_divisible(exp_size * width_mult, 4)layers.append(block(input_channel, hidden_channel, output_channel, k, s, use_se))input_channel output_channelself.features nn.Sequential(*layers)output_channel _make_divisible(exp_size * width_mult, 4)self.squeeze nn.Sequential(nn.Conv2d(input_channel, output_channel, 1, 1, 0, biasFalse),nn.BatchNorm2d(output_channel),nn.ReLU(inplaceTrue),nn.AdaptiveAvgPool2d((1, 1)),)input_channel output_channeloutput_channel 1280self.classifier nn.Sequential(nn.Linear(input_channel, output_channel, biasFalse),nn.BatchNorm1d(output_channel),nn.ReLU(inplaceTrue),nn.Dropout(0.2),nn.Linear(output_channel, num_classes),)self._initialize_weights()def forward(self, x, need_feaFalse):if need_fea:features, features_fc self.forward_features(x, need_fea)x self.classifier(features_fc)return features, features_fc, xelse:x self.forward_features(x)x self.classifier(x)return xdef forward_features(self, x, need_feaFalse):if need_fea:input_size x.size(2)scale [4, 8, 16, 32]features [None, None, None, None]for idx, layer in enumerate(self.features):x layer(x)if input_size // x.size(2) in scale:features[scale.index(input_size // x.size(2))] xx self.squeeze(x)return features, x.view(x.size(0), -1)else:x self.features(x)x self.squeeze(x)return x.view(x.size(0), -1)def _initialize_weights(self):for m in self.modules():if isinstance(m, nn.Conv2d):nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu)elif isinstance(m, nn.BatchNorm2d):m.weight.data.fill_(1)m.bias.data.zero_()def cam_layer(self):return self.features[-1] 简单看下数据集情况
【白内障】 【糖尿病视网膜病变】 【青光眼】 【正常眼球】 共包含上述四种不同类型的眼球数据集。
这里主要的目的是想要对主要核心的参数进行全方位多层次的对比实验分析整个实验阶段一共进行了72组的对比实验主要从以下几个角度进行切入
损失函数CrossEntropyLossFocalLossPolyLoss优化器 AdamWRMSPropSGD学习率0.0010.0005是否使用预训练技术TrueFalse是否进行数据增强TrueFalse
不难计算出一共组合形成了72组实验当然了如果想要进一步细化可以根据自己的实际情况进行改造即可。
关于这点就不再赘述了实验组数越多自然消耗的时间就越多这是一个正比例的关系所以不是一味地增加实验组数就是绝对的好事。
等待漫长的训练过程结束后我们对其进行评估测试来整体对比分析。
首先是使用CrossEntropyLoss损失函数的详细对比情况 下面是详细的precision、recall、f1、accuracy等的指标对比 接下来是使用了FocalLoss函数的详细实验评测对比分析结果 最后是使用了PolyLoss函数的详细实验评测对比分析结果 完成单个阶段的独立对比分析后接下来我们来看看优化器对于不同模型带来的影响。首先是使用AdamW的结果 之后是RMSProp 最后是SGD 接下来我们来分析不同学习率对于模型的影响 首先是学习率0.0005的情况下模型的评测对比 其次是学习率为0.001的情况下模型的详细对比 可以看到学习率所带来的影响变化就是比较有规律性的。
上面依次对比分析了单个角度下的评测结果这里我们来整体对比下72组实验不同的评测结果 感兴趣的话也都可以自行动手尝试下
