模板网站外贸建站,网络平台推广运营培训,wordpress怎装模板,开发cms网站系统目录 5.2 阴影检测模块与街景检测模块实验设置 5.2.1 实验环境与工具 5.2.3 损失函数 5.2.4 实验具体流程 5.3 实验评估与对比 5.3.1 两类实验的评估标准 5.3.2 两类实验结果对比 阴影环境下街景目标检测系统的实现 6.1 系统概述 6.2 系统软硬件环境 6.3 功能模块设计 6.4 系统… 目录 5.2 阴影检测模块与街景检测模块实验设置 5.2.1 实验环境与工具 5.2.3 损失函数 5.2.4 实验具体流程 5.3 实验评估与对比 5.3.1 两类实验的评估标准 5.3.2 两类实验结果对比 阴影环境下街景目标检测系统的实现 6.1 系统概述 6.2 系统软硬件环境 6.3 功能模块设计 6.4 系统流程 6.5 系统设计与实现 6.5.1 系统核心模块的设计与实现 6.5.2 系统其他模块展示 本文篇幅较长分为上中下三篇文章索引详见 区域卷积网络在阴影环境目标检测上的研究与应用 区域卷积网络在阴影环境目标检测上的研究与应用中 区域卷积网络在阴影环境目标检测上的研究与应用下 5.2 阴影检测模块与街景检测模块实验设置 5.2.1 实验环境与工具 实验运行以 Ubuntu 16.04 操作系统作为平台使用 Python3.6 语言编码软件使用 Pytorch 、 Mxnet 作为深度学习框架同时结合 Opencv 、 Matplotlib 、 Numpy 等工具包进行数据 处理与操作硬件方面训练流程基于一块 Nvidia Tesla P4 预测与推断流程基于一块 Nvidia GTX 960M 本实验由两类子实验构成包括阴影检测模块的实验与街景目标检测模块的实 验在具体讨论处会分开阐述。 5.2.2 输入层和输出层设置 对于阴影检测模块训练输入层使用固定的 512 × 512 × 3 图像输入在将图像输入输入 层前会对各数据进行随机裁剪即数据增广至 512 × 512 的尺寸以便于直接输入模型。输出 层主要使用基于双线性插值的转置卷积层用于将通过四个卷积模块的图像从缩小四倍的尺 寸还原至原图大小以适应输出结果。 对于街景目标检测模块训练输入层统一使用双线性插值将图片数据尺寸缩放至 512 × 256 使用最近邻插值将标签缩放至同样尺寸避免标签出现其它浮点数值随后输入 Resnet FPN 以进行特征提取操作。输出层分为边界框识别分支与 mask 掩膜分支边界框识别分支 将特征图输入全连接层后输出预测的类别与边界框的定位 mask 掩膜分支输出 28 × 28 ×80 的掩膜最终模块将输出三个结果再映射回原图实现定位、检测与分割的功能。 5.2.3 损失函数 损失函数用于描绘模型的检测结果与实际标签间的距离如何将损失函数计算出的损失 在不过拟合的情况下最小化为模型训练的目标之一针对本文涉及的两类实验有不同的 损失函数定义。 对于阴影检测模块观察阴影数据集存在正负样本比例不平衡的情况如下图 5.1 为具 有此类问题的一例训练集图像。 真实检测结果中黑色像素代表背景信息白色像素表示待检测阴影信息。本例中白 色阴影像素在全局中所占比例较低。在完整的数据集中普遍存在此类正负样本分布不平衡 的情况经过综合分析使用 Focal Loss 作为最终模型训练的损失函数下式 5.1 表示 Focal Loss 的具体定义[53]。 平均二值交叉熵在此普通二值交叉熵的基础上使用 Sigmoid 激活函数对各像素进行逐 像素的计算实现了对于类间竞争问题的避免与解决。 5.2.4 实验具体流程 如图 5.2 本实验包含两个子实验总体实验的训练步骤由数据集的获取与使用、数据预 处理或类别修改、训练核心模型、调整参数至收敛和获取最终整体模型组成。在阴影检测模 块会将阴影数据集通过预处理与增广输入基于 Resnet50 的并行残差卷积模块使用 Focal Loss 估计损失训练约 500 步至收敛在街景检测模块中首先对于街景数据集 Cityscapes 进行类别的转换从原始的 34 类转换至 5 类输入 Mask R-CNN 网络进行训练针对边界框 损失、分类损失和 mask 损失进行优化直至网络训练约 400 步至收敛得到可用的街景检测 模型。 5.3 实验评估与对比 5.3.1 两类实验的评估标准 通过对上述数据按照流程进行训练最终输出结果会根据评估标准进行评估以观察模 型的实际预测能力针对阴影检测模型与街景目标检测模型各自有不同的评估标准下文 将给出具体的定义。 对于阴影检测模型更加关注模型对于阴影的识别率与非阴影的误检率为了对实验结 果进行分析与比较采用与之前阴影检测模型相同的评价指标[14-15] 阴影像素检测错误因子 SER 、非阴影像素检测错误因子 NER 、平均检测错误因子 BER 定义如下式 5.6 、 5.7 和 5.8 别表示阴影像素总数和非阴影像素总数错误因子越低代表模型的阴影检测精确率越高像 素语义信息的分类越正确最终评估标准能较好的反应检测错误的机率评估模型是否具备 更好的检测效果。 对于街景目标检测模型使用一定 IOU 条件下的平均精确率 Average Precision(mAP) 和平 均召回率 Average Recall(mAR) 作为评估指标 IOU 指的是预测的编辑框区域与标签的边界框 区域之间的交并比 [54] 用于考察预测与标签之间的差距 IOU 参考范围设置 0.5:0.05:0.95 其 中 0.5:0.05:0.95 表示从 0.5 到 0.95 按 0.05 为间隔划分的 10 个子区间之后再对各区间的 IOU 精确率取均值求得最终的评估指标再根据目标大小评估大中小区域情况下不同的精确率 与召回率达到控制变量对比分析的目的其中小区域 (small) 代表标注定位框小于 32*32 中 区域 (medium) 代表标注定位框小于 96*96 大区域 (large) 代表标注定位框大于等于 96*96 。 5.3.2 两类实验结果对比 对于阴影检测网络结合评价标准在 ubuntu16.04 、 Python3.6 、 mxnet-cu100 环境下搭建 在一张 Tesla P4 显卡上训练并测试处理一张图片平均耗时 0.031 秒预计检测速度达到每 秒 32.2 帧具备一定的高效实时检测能力。 本文阴影检测模块在 SBU 、 UCF 两种测试集上的具 体测试结果与常见同类型阴影检测模型的对比结果如表 5.1 和表 5.2 所示。 实验中为了探究阴影检测模型各模块起到的作用搭建了四个参照网络进行对比验证。 第一个网络为原始预训练的 Resnet50 网络仅修改其最后的输出层第二个网络为 Resnet50CBAM 网络在原始 Resnet50 网络的基础上在各残差卷积块间连接未改进的注意 力模块 CBAM 第三个网络为 Resnet50conv-CBAM 网络在原始 Resnet50 网络的基础上在 各残差卷积块间连接改进后的注意力模块 conv-CBAM 第四个网络为 Resnet50Parallel Blockconv-CBAM 网络即对原始 Resnet50 各残差模块重组采用前文所述的并行卷积设计 思路组建并行卷积模块且各模块间连接改进后的注意力机制模块但各层输出结果不使 用密集连接相连。以上四类网络结构不同并且复杂程度越来越高与采用密集连接思路的 完整网络相互对比可分别验证注意力机制 CBAM 、改进后的注意力机制 conv-CBAM 、并行卷 积模块以及密集连接设计方法的作用。为保证验证实验的可信度各模型训练采用相同的损 失函数、数据集与训练策略并且对预测结果采用相同的评价指标进行评价具体的各模块 探究实验结果如表 5.3 所示。 观察实验结果可知本文提出的完整阴影检测模块评价指标均优于验证实验搭建的四类 参照网络且这五种网络随着模型复杂程度的加深评价指标数值总体上也逐渐降低体现 了各模块设计的合理性确保了本阴影检测模块的可信度。完整模块在 SBU 测试集上具备较 好的性能提升在 UCF 数据集上 NER 与 BER 指标相较于其它同类阴影检测模型大幅度下 降。跨数据集验证的成功证明了本模型具备可靠的泛化能力。且通过与 ST-CGAN 。 模型实验结果对比证明了本模型在正负样本上的检测平衡能力分类器不会因正负样本 数量比例的不平衡而导致分类结果的不平衡。 对于街景目标检测模块的实验结果采用街景目标检测模块单一模块与结合阴影检测模 块的街景检测模块组成的完整阴影环境状态下的街景目标检测模型进行对比以体现出阴影 检测模块在本文探究的复杂场景下的目标检测课题中的重要性以及本街景目标检测模型的 整体可用性与鲁棒性具体对比结果如下表 5.4 。 观察结果可知结合阴影检测模块与街景检测模块的完整阴影场景下的街景检测模型基 本具备更高的精确率与召回率这得益于其对于数据集中阴影场景做了额外的阴影检测处理 使得模型在不同场景下、不同光照条件下具备更好的检测能力因此最终本文提出的街景检 测系统将基于此模型及参数基准进行搭建以实现更丰富的接口功能如图 5.3 与 5.4 所示 为具体的参数曲线其中横轴代表训练迭代步数纵轴代表具体百分比指标数值。 分析精确率与召回率曲线可知两类参数都在 350 至 400 步时逐渐收敛对比大中小三 类标注边界框区域下的召回率与精确率随着边界框区域增大模型识别的精确率与召回率 随之增大模型检测能力更强代表模型对于大尺度物体有着更好的识别能力对于小于 32*32 尺度的物体识别能力稍弱。对比识别精确率与召回率在任意定位框区域下召回率 总体高于精确率证明模型对于各类别识别程度较好漏报情况较少能定位并找出绝大部 分待预测物体同时精确度也处于较好的水平识别精度也有一定保障基于两类指标模 型总体符合街景检测需求能够完成检测与定位任务。 阴影环境下街景目标检测系统的实现 6.1 系统概述 对于街景目标检测任务使用者如驾驶员、交管部门或者保险公司往往需要一个实际可 用的系统来完成大部分功能仅仅使用训练好的模型无法对事实与预测结果进行很好的展示 也难以面向非技术开发人员提供可靠的交互能力。基于这样的需求搭建本阴影环境下街景 目标检测系统满足用户上传街景照片、上传街景视频、使用摄像头拍照并进行街景目标检 测预测的基本功能。 本街景检测系统使用上文阐述的实验中的两个模块模型相互连接为用户提供高效便 捷的一站式多功能街景检测平台系统基于 C/S 架构进行开发主要适用于 Windows 操作系 统使用 PyQt5 框架开发图形化界面窗口同时利用 Pytorch 与 Opencv 工具包完成图片操作 等具体细节功能共分为三大开发任务其一是实验训练模型层与业务层的连接接口其二 是数据库持久层与业务层的驱动连接其三是核心业务层的搭建、业务逻辑的开发以及其与 视图层的连接。模型层封装核心算法模型流程包括各模块的组成、网络的定义同时还负 责将训练参数导入模型模板最终将直接可用的模块模型导出使用视图层基于 PyQt5 开发 负责功能界面以及控件的排列提供可用的人机接口与按钮同时负责将后台数据展现给用 户暴露预测结果等信息业务层负责处理视图层的反馈处理用户需要处理的流程同时 可以结合模型层与持久层对数据进行操作如图片的处理、数据的保存等是整个系统后 台最为重要的核心数据持久层基于 MySQL 数据库主要用于封装数据库实现数据库操 作对相关重要信息进行操作与处理图 6.1 为阴影环境下的街景检测系统的系统结构图。 6.2 系统软硬件环境 基于区域卷积网络的阴影环境下的街景目标检测系统运用 PyQt5 框架、 Pytorch 深度学 习框架等实现系统各个功能。系统环境约束如表 6.1 所示。 6.3 功能模块设计 基于区域卷积网络的阴影环境下的街景目标检测系统由以下几个功能模块组成。 1 模型参数加载模块本模块主要调用模型层任何系统使用者可以获取默认存储目 录下的已存在模型参数列表且包含其具体训练参数如最终评估参数、训练步数、 训练时间等同时提供接口供系统注册用户使用额外的自定义模型参数文件。 2 登录模块本模块负责提供用户一个接入程序的主入口用户可注册成为新用户 也可使用已有帐号登入系统也可作为游客进入体验系统游客与系统用户的区别 在于数据持久层会为用户分配空间存储部分历史系统预测结果便于后续回顾而 游客关闭程序或退出系统后系统不会保留本次预测结果。 3 图片预测模块本模块是视图层与用户的核心接入模块之一交由用户自主上传本 地图片进行预测同时当计算机接入互联网时用户还可提供 url 连接上传网络图 片进行预测。 4 视频预测模块用户可通过上传本地视频或提供网络视频 url 的方式系统会对视 频进行解析然后进行逐帧的检测最终返回结果检测视频。 5 拍照预测模块用户可使用外接摄像头或其它热插拔拍照设备进行拍照系统会 直接调用这些设备成像用户可按键盘规定按键进行拍照之后再进行预测也 可启用实时抓拍模式自动化拍照预测用户无需手动按键拍照。 6 存储与清除模块本模块连接数据持久层负责在用户登录的条件下对预测结果 自动保存同时当用户察觉无需保存结果时可使用清除缓存功能一键清除本 次预测产生的结果文件。 6.4 系统流程 如图 6.3 所示整个基于区域卷积网络的阴影环境下的街景目标检测系统在用户层面的 流程可大致分为 3 个部分 第一打开系统首页选择模型参数游客仅能使用系统默认提供的参数体验系统注 册用户还可自定义上传其它位置的参数文件之后选择登录角色可根据预测结果数据保存 需求选择登录为系统用户或游客也可通过注册成为系统用户。 第二正式进入系统后用户可通过点击不同的按钮使用图片预测功能、视频预测功 能、拍照预测功能三大主要媒体预测方式。图片预测功能中用户可直接选择本地图片也可 提供网络图片 url 供系统使用视频预测功能中用户需要上传本地视频或网络视频 url 的方 式提供系统视频源文件进行预测且结果视频可直接进行播放、暂停等功能拍照预测模块 中系统会直接调用用户摄像设备进行抓拍用户也可自己决定拍照时机进行拍照。 第三预测结束后用户可对预测结果进行操作默认会保存所有的预测结果用户也 可选择一键清空本次预测结果文件同时提供历史结果查看接口用于回顾过去的预测结果 若登入用户角色为游客不会保存历史信息同时也无历史信息查询权限也不具备清除结 果文件的必要性。 6.5 系统设计与实现 本小节给出了基于区域卷积网络的阴影环境下的街景目标检测系统的模块展示与说明 具体细分为核心功能模块与其它辅助模块对于核心模块给出系统界面截图与具体功能介绍 对于其它辅助模块给出简要分析和部分说明。 6.5.1 系统核心模块的设计与实现 1 系统主界面模块 本系统主界面提供部分核心功能的入口类似于服务中心用户可点击各类功能按钮 实现相对应的核心功能如下图 6.4 所示系统主界面由若干按钮与中央展示域组成各按钮 有文字说明表示功能去向需要显示结果的功能会将结果处理后传入中央展示域用户可以 直接实时观察到预测结果或中间结果。 系统主界面主要包含的功能入口有选择图片、选择视频、拍摄照片、开始预测、删除缓 存和历史信息其中选择图片、选择视频和拍摄照片三个功能模组实现过程中都会调用中央 展示域以展示图片和视频的原始预览文件预测结果功能按钮点击后会对图片与视频进行 分析与预测最终的预测结果也会传入中央展示域给用户最直接的信息反馈人机交互友 好。 2图片预测与视频预测模块 用户点击选择图片或选择视频按钮会弹出提示子界面询问用户选择本地图片或视频还 是使用网络图片或视频对于本地图片或视频如图 6.5 弹出选择框供用户选择本地图片或 视频对于网络图片或视频后台会去进行 url 链接校验并判断是否可以下载提示用户等 待系统完成操作无论用户选择何种方式上传图片或视频中央展示域都会对源文件进行展 示状态栏也会显示当前源文件路径以保证用户未选择错源文件用户确认源文件信息后 可点击开始预测按钮随后系统提示等待后台处理完数据并调用预训练模型预测完成后 预测结果会直接覆盖中央展示域中的源文件刷新中央展示域显示预测结果同样便于展示 用户可第一时间观察预测结果完成需求同时对于非游客用户系统会自动保存本次预测结 果。 3拍照预测模块 用户点击拍摄照片按钮即可使用手动拍照预测功能会自动调用设备摄像头或外接摄像 头并弹出目前摄像头捕捉到的画面用户可观察画面手动根据系统提示按键决定时机 拍摄照片下图 6.6 为拍照界面拍摄完毕后本次拍照结果也会传入中央展示域用户可仔 细分析或观察确定无误后同样可点击开始预测按钮使系统后台开始预测预测结果同样 在中央展示域展示。拍照预测功能还具备连拍模式供用户选择拍摄照片下方用户可勾选连 拍模式的勾选框激活右方文本框用户可自行决定连拍的频率连拍模式会在用户给定的 频率下自动调用摄像头连拍 9 张照片拍摄完成后会将这 9 张照片组成九宫格形图片传入中 央展示域进行展示用户确认无误后可点击开始预测按钮系统会在后台对这 9 张图片进行 预测最终预测结果同样以九宫格形于中央展示域展示对于非游客用户拍照预测的结果 也会自动进行保存。 6.5.2 系统其他模块展示 1 登录模块 系统登陆界面主要负责系统后端模型参数的指定与用户身份和角色的确认是整个系统 的第一个入口如图 6.7 首先会展示用户本系统当前版本默认后端参数及对应评估数值包 括精确率、召回率、训练步数、损失值和参数发行时间等此时登录角色可选择游客与已注 册用户游客登录直接进入主界面且锁定当前参数已注册用户输入账号密码进入系统且可 调用当前用户历史预测信息在本界面用户还可自行上传参数文件以实现更丰富的预测效 果此功能仅支持已注册用户游客用户无法自定义参数文件。 2历史信息模块 对于游客用户本界面会被直接隐藏对于已注册用户如图 6.8 本界面会调用当前用户 在数据库中的数据以列表的方式按文件名与预测时间列出点击详细的一条记录即可在 中央展示域展示该记录下的预测结果点击放大按钮支持全屏展示结果同时对于使用的后 端模型参数也会有相关描述方便用户挖掘历史记录中的可用信息同时用于与相同文件在 不同模型参数的预测结果进行比较与分析。
