访问网站速度跟域名还是服务器有关,杭州做兼职网站建设,网站备案怎么注销,旺店通erp企业版下载app摘要
摘要:本文提出了一种视差细化方法#xff0c;通过对视差统计意义的探讨#xff0c;直接细化赢者通吃视差图。根据基于分割的立体匹配的主要步骤#xff0c;将参考图像过度分割为超像素#xff0c;并通过改进的随机样本对每个超像素进行视差面拟合共识(RANSAC)。我们设…摘要
摘要:本文提出了一种视差细化方法通过对视差统计意义的探讨直接细化赢者通吃视差图。根据基于分割的立体匹配的主要步骤将参考图像过度分割为超像素并通过改进的随机样本对每个超像素进行视差面拟合共识(RANSAC)。我们设计了一个两层优化来细化视差平面。在全局优化中利用马尔可夫随机域(MRF)推理估计超像素点的平均视差然后根据平均视差推导出遮挡处理的三维邻域系统。在局部优化中采用贝叶斯推理和贝叶斯预测相结合的概率模型隐式地实现了三维邻居间的二阶平滑。两层优化是一种纯视差细化方法因为在细化过程中不需要立体图像对之间的相关信息。在Middlebury和KITTI数据集上的实验结果表明该方法能够快速准确地进行立体匹配有效地处理遮挡。由此可见“匹配成本计算视差细化”框架是在较低的计算成本下生成精确视差图的一种可能的解决方案。 1.相关工作
1.1MRF Stereo Methods 马尔可夫随机场(MRF)立体视觉方法将匹配问题形式化为标签问题其目标是优化测量标签质量的全局能量函数。传统的MRF立体方法[18]、[19]给每个像素分配一个一维离散视差标签。利用图割[20]、[21]、信念传播[22]、[23]、TRW[24]等优化方法实现能量函数的最小化。基于图切割的扩展移动和交换移动[18]显示出良好的性能。这些移动可以同时更新所有像素的标签因此优化很难被局部极小值捕获。一维标签立体声方法的缺点是建模高度倾斜的表面。三维标签立体方法[25][27]的提出以建立更准确的模型。这些方法不仅可以对高度倾斜曲面进行建模而且可以实现二阶平滑约束[25]、[28]、[29]。因此它们通常比1D标签方法有更好的准确性。然而像素级的全局优化使计算变得复杂。 我们的方法在超像素层上执行一维标签MRF推理。由于超像素的数量远远小于图像中的像素数量因此推理速度要快得多。与之前的工作不同我们的工作是以superpixel的离散均值差作为标签。即使在高度倾斜的表面上也能正确地估计出这种差异。
1.2 Segment-based Stereo Methods 基于分段的立体方法[30][32]假设场景结构为分段平面差值映射的估计转化为为每个分段分配一个三维视差平面。首先将参考图像分割成颜色均匀的区域。然后用已知的立体匹配方法计算初始视差图通过对视差图的平面拟合生成候选视差平面。最后利用图形切割和信念传播等全局优化方法为每一段分配一个最优的平面标签。最终的结果取决于分割的质量。为了放宽路段约束提出了若干改进措施。为了保证深度不连续只出现在段的边界上过度分割是一种常见的解决方案。Bleyer等人提出了一个像素级的MRF公式该公式包含了软分段约束。联合分割和视差计算[34][35]可以提高优化过程中的分割质量。但是这些方法有一个共同的缺点。一个段的finalplane标签是从候选标签集中分配的。有限集可能不包含正确的标记在这种情况下视差计划的估计是错误的错误是无法纠正的。在wang和Zheng[36]的工作中通过协同优化对总能量函数进行优化并将其分解为局部优化的子目标能量函数和。优化过程是迭代的局部优化可以修正虚规划。因此该方法对初始拟合结果具有较强的鲁棒性。 与以往的全局能量函数优化方法相比该方法通过局部优化和隐式约束平滑来细化视差面。此外视差细化方法不需要立体图像对之间的相关信息因此可以在单一视图中进行处理。 2.OVERVIEW OF THE TWO LAYEROPTIMIZATION两层优化的概述 我们提出了一个两层优化来细化WTAdisparity map。在全局优化层(第四节)采用MRF优化算法对后向平行视差图进行估计。
3维邻域系统通过超像素的平均视差划分。在局部优化层(SectionV)中RANSAC对超像素点拟合了倾斜平面A并利用超像素点S的平均视差对拟合结果进行了约束。利用贝叶斯推理和贝叶斯预测的概率模型对初始倾斜视差图进行了改进。这两个优化层都在超像素级运行具有很高的效率。
2.1. FRONT-PARALLEL DISPARITY MAP前向-平行视差图
我们使用全局MRF优化来估计一个前并行视差图。超像素被表示为图形节点。MRF优化的目的是最小化后续的能量。 us是标签在我们的例子中是超像素s的均值视差;n是超像素集合N代表相邻超像素集合g(us) 为数据项f(us,ut)平滑项l为平衡系数。与3D标签MRF相比在超像素级优化1Dlabel是有效的(Section IV-B)。我们提出了一种新的基于视差分布(Section IV-A)的数据项而不是基于左右图像之间的匹配成本或相似度度量。为了处理前-背景遮挡由us推导出表示深度不连续的三维邻域系统(Section IV-C)。我们还研究了一个特殊的情况证明1D标签的MRF公式不能模拟高裂纹表面(IV-D部分)。
A.视差分布的解释 基于分段的立体视觉方法假设视差在一个分段内近似线性。在分段平面假设下具有适当边界的平面的视差分布是均匀的。
考虑到超像素点的不规则边界形状建立了超像素点内视差分布的数学模型超像素是正态分布。 d代表视差us和ds分别代表超像素s的均值和方差。较高的ds表示较倾斜的表面而对于前平行表面ds 近似等于零。(2)的数据项基于视差分布直方图如本节所述B
B.MRF Optimization
为了估计一个前向平行视差图我们估计了超像素的超像素视差。front-parallel平面可以通过π00us获取。(2)的数据项和平滑项定义如下
1数据项评估视差中心的置信度超像素的视差分布是被分成直方图箱我统计超像素视差落入直方图的数目宽度为L。定义如下 Ns为在超像素的素数数目us的取值为01l,2l......,而较低的数据项表示由于负号而较高的置信度I是一个条件函数 I表示是否落入Bin的直方图重。数据项的设计是基于投票的。 落在同一个箱子里的观测次数越多可信度越高。闭塞区域的wta差异存在噪声干扰难以达成一致。因此被遮挡区域的dataterm相对较高标签以平滑项为主。
2平滑项:平滑项使相邻超像素间的视差分布中心具有相似性定义为 Wst颜色相似度权重,定义为: y是控制颜色权重的影响系数。I(S)为超像素的色彩平均值E为下界截断值L(s,t)相邻的超像素s和t是共享边界长度;T可以是一个度规或半度规将在C部分定义。
C.3D邻域系统
通过MRF优化估计的超像素平均视差提供了全局的场景信息。提出了表示深度不连续性的三维邻域系统 s,t为超像素对如果他们均值视差不相似那么他们的一范式大于L那么他们不是相邻因此在N3d中可能存在的前-背景连接是切断的。这是遮挡处理的一个重要属性。E章节有更多的描述。
估计N3d的准确度T是平滑项通过定N3d ,T的定义如下 其中τ 2。Ts是一个半度量它是非子模的不能通过流行的扩展移动[18]来优化。 代码地址https://github.com/TingmanYan/SDR
