做旅行的网站,微网站 案例,成都建设规划局网站,一键优化助手Abstract
我们提出了一种加速一大类图像处理算子的算法。给定低分辨率参考输入和输出对#xff0c;我们通过拟合将输入映射到输出的局部曲线来对算子进行建模。然后#xff0c;我们可以通过在全分辨率输入上评估这些低分辨率曲线来生成全分辨率输出。我们证明#xff0c;这…Abstract
我们提出了一种加速一大类图像处理算子的算法。给定低分辨率参考输入和输出对我们通过拟合将输入映射到输出的局部曲线来对算子进行建模。然后我们可以通过在全分辨率输入上评估这些低分辨率曲线来生成全分辨率输出。我们证明这忠实地模拟了最先进的色调映射、风格转移和重新着色操作员。这些曲线是通过将输入提升到双边网格中然后求解仿射矩阵的 3D 阵列来计算的该阵列能够最好地将输入颜色映射到每个 x、y 强度箱的输出颜色。我们对矩阵实施平滑项以防止错误边缘和噪声放大。我们可以全局优化这种能量或者通过局部拟合矩阵来快速近似解决方案然后通过网格空间中的模糊来增强平滑度。后一种选择减少为联合双边上采样 [Kopf 等人2007] 或引导过滤器 [He 等人2013]取决于参数的选择。运行算法的成本降低到以大大降低的分辨率运行原始算法的成本因为在移动设备上拟合曲线大约需要 10 毫秒在桌面 CPU 上需要 1-2 毫秒并且可以使用以下命令来评估曲线一个简单的 GPU 着色器。
1 Introduction
成像操作符可以通过多种方式改进照片。它们可用于消除雾霾 [Kim 等人2013]压缩动态范围[Paris 等人2011]着色[Levin 等人2004]风格化[Aubry 等人2014]或增强细节[Farbman 等人 2008]。然而大多数照片完全是在手机上拍摄和处理的由于严格的功耗预算手机的计算能力有限。这使得文献中的大多数算法都太慢而无法部署在移动设备上。
加速算子的一个简单方法是以低分辨率应用它然后对结果进行上采样理想情况下使用某种方法重新引入在下采样中丢失的高分辨率原始数据中存在的细节。两种这样的方法是联合双边上采样 [Kopf 等人2007]和快速引导滤波器[He and Sun 2015]。这两种方法都足够快可以在移动设备上运行但它们只能重现有限范围的运算符见图 8。
我们提出了双边引导上采样它统一并概括了这两种方法。我们首先观察到对于许多成像算子来说输入中具有相似颜色的附近像素在输出中也具有相似的颜色。否则会引入新的边缘、光环或噪声而输入中不存在此类特征。这相当于说算子是双边空间中的平滑函数 [Barron et al. 2015]。
对于黑盒图像算子和特定的输入图像我们可以通过以降低的分辨率运行算子然后在双边空间中拟合局部仿射模型来学习这个平滑函数。也就是说对于低分辨率图像的每个图块和每个强度范围我们学习输入和输出之间的仿射关系。我们通过使用平滑项全局求解它们或者通过使用重叠窗口拟合它们来更便宜地限制这些仿射矩阵平滑变化。作为位置和强度的函数三线性插值到仿射模型阵列中充当可应用于全分辨率输入的分段二次局部曲线。
如果我们将模型简化为每个空间图块的单一强度范围那么我们将拟合直线而不是曲线这正是快速引导滤波器。如果我们将仿射矩阵简化为其常数项那么这正是联合双边上采样。
我们发现我们可以以八分之一的分辨率运行大多数算子因此工作量减少了 64 倍并且仍然产生可比较的全分辨率输出。拟合仿射模型需要几毫秒的时间然后可以在最小的 OpenGL 着色器包含在补充材料中中完成全分辨率输出的生成。因此我们大大加速了原来的算子。
我们的方法要求算子在某种程度上具有尺度不变性。以低分辨率应用它必须产生有关如何以全分辨率应用它的有用信息。这意味着我们对不成立该假设的算子例如去噪或去模糊的建模很差。
本文介绍了这种方法背后的理论第 3 节、我们提出的算法第 4 节及其在一系列成像算子上的性能第 5 节。该算法快速、有效且简单。我们提供局部和全局算法的源代码以及全分辨率图像作为补充材料。
2 Related Work
双边滤波器是一种非线性的边缘保留滤波器由 Tomasi 和 Manduchi [1998] 提出。已经提出了许多技术和数据结构来加速双边滤波器[Paris and Durand 2006陈等人2007年亚当斯等人2010加斯塔尔和奥利维拉 2011加斯塔尔和奥利维拉 2012]。陈等人[2007] 引入了双边网格这是一种能够对图像进行边缘感知操作的数据结构。陈等人使用规则的样本网格但这种表示已扩展到其他布局例如 k-d 树和高维网格 [Adams 2011]。巴伦等人[2015]引入了“双边空间”优化的概念表明通过将问题投影到双边网格上可以快速解决立体问题。 Barron 和 Poole [2016] 将其推广到着色、深度超分辨率和语义分割。
科普夫等人[2007]提出联合双边上采样。他们使用这种技术将低分辨率着色、色调映射和深度图上采样为高分辨率从而尊重底层场景的颜色不连续性。虽然他们的方法产生了分段平滑的图像但我们解决了图像对之间的平滑变换。
我们的仿射模型受到引导过滤器的启发 [He et al. 2013]这是一种快速的边缘保留过滤器。该方法的工作原理是在引导图像和输入图像中的重叠块之间拟合仿射函数的二维数组。然后将这些仿射函数应用于输入图像。这会平滑输入图像同时尊重引导图像中的边缘。相反我们在图像的双边网格表示上拟合 3D 仿射函数数组这意味着在单个补丁中我们在每个强度范围内拟合不同的仿射函数。在网格具有单个强度箱的退化情况下我们的表示相当于引导滤波器的表示。图 8 展示了我们模型的表达能力的提高。 Yuan 和 Sun [2011] 解决了使用离线处理的低分辨率伪原始文件增强相机上生成的高分辨率 JPEG 的相关问题。他们的色调映射步骤使用局部仿射模型将处理后的 RAW 文件中的补丁与原始 JPEG 相关联。与引导滤波器一样这只能表达局部直线而不能表达曲线。
加尔比等人[2015]引入了transform recipes的概念。尽管我们试图完全避免计算全分辨率算子但 Gharbi 等人相反将工作卸载到云服务器然后发回一个与我们的模型相似但比我们更丰富的多尺度模型描述操作符的效果以便可以在设备上重现。与转换配方相比我们更快、更简单并且完全在设备上运行。然而我们无法忠实地模拟算子对最高频率的影响因为我们从未以全分辨率运行算子。尽管如此我们的 PSNR 与他们的技术相比还是有竞争力的图 8。
3 Local Properties of Imaging Operators
在本节中我们分析输入图像与操作符动作产生的输出图像之间的关系。图 2 包含一个散点图说明了在特定图像上运行的特定算子的映射。
考虑输入的一小部分及其在输出中的相应部分。我们将尝试通过在补丁上拟合模型来捕获操作符的动作该模型可以预测给定输入的输出。对于 1 × 1 补丁我们可以用一个简单说明输出强度的常数模型来拟合任何算子无论多么奇特。在稍大的块上恒定模型仅在输出图像无特征的情况下才是正确的。为了更准确地建模这种关系我们可以考虑泰勒级数中的下一项并记录输出强度在输入强度的小扰动下如何变化。现在这是一个仿射模型。
对于行为良好的算子这些一阶项应该很小。如果输入强度的微小变化会导致输出强度的较大变化则操作符必须放大存在的任何噪声。
仿射模型能够很好地近似输入输出映射的尺度取决于底层算子的属性。我们在图 3 中对此进行了说明其中显示了不同大小斑块的输入输出强度散点图。仿射模型适用于小斑块尤其是那些包含有限亮度变化的斑块但一旦斑块大小超出算子的自然比例仿射模型就会崩溃。 如果斑块包含大范围的强度并且算子是非线性的则一阶泰勒展开式不再成立。例如如果块包含由边缘分隔的非常亮的像素和非常暗的像素则该边缘两侧的输入和输出之间的关系可能非常不同。然而如果我们将单独的仿射模型拟合到补丁中存在的每个强度范围我们仍然可以使用仿射模型来建模关系。在该仿射模型阵列内作为强度函数进行线性插值会产生分段二次样条该分段二次样条描述了该补丁内将输入映射到输出的局部曲线。
如果我们将补丁变得更大那么对于许多有趣的算子输入中的等强度像素可能会映射到输出中非常不同的强度并且这种关系不能再通过任何单个函数来建模参见中最右边的散点图图 3。因此我们将图像分割成图块并在每个图块内拟合一条不同的曲线。对于表现良好的操作符来说这些曲线必须在空间中平滑变化。如果不这样做输入中具有相同强度的相邻像素在输出中可能具有非常不同的强度这意味着操作符引入了输入中不存在的新边缘。对于一小部分操作符来说这只是理想的行为尤其是超分辨率和去模糊。
我们现在有一个仿射模型的 3D 数组按位置和强度索引。我们要求它们随位置和强度平滑变化因此我们可以以低分辨率表示它们。事实上以低分辨率拟合它们会将原始算子投影到不会放大噪声或引入新边缘的算子空间上。 3D 阵列可以被视为一种双边网格它存储仿射模型而不是颜色。给定任何输入位置和强度我们可以对其进行三线性插值以检索适当的仿射模型该模型将告诉我们输出强度。
单独使用输入/输出图像数据该双边网格是稀疏的。我们只能在有输入数据的单元格中拟合仿射模型见图 4。如果我们希望将模型应用于新的、以前未见过的输入强度那么我们需要扩展我们的模型以覆盖整个网格。我们所需的平滑度属性和仿射表示使这一点变得简单。可以通过最小化 x 和 y 方向上模型系数的有限差异来增强空间平滑度。同样可以通过最小化强度方向 z 上的有限差来增强强度平滑度。完全填充的双边网格告诉我们成像算子在仅给出单个示例输入和输出的任何图像上的动作。然而它只是关于这个特定输入的算子的一阶泰勒级数因此当我们偏离它时质量会迅速下降。如果我们在由相同输入的更高分辨率版本驱动的位置对网格进行采样那么我们会保持接近原始流形因此产生的输出与以更高分辨率运行原始算子非常相似。
Affine color model
到目前为止我们的讨论仅限于灰度图像。为了处理颜色输入和输出我们可以使用 5D 双边网格它存储每个 (x, y, r, g, b) 单元格从输入到输出颜色的 3 × 4 仿射矩阵。然而这个空间太大即使使用低分辨率网格每个单元也没有足够的数据来充分适应仿射变换。相反我们发现混合颜色模型效果很好。我们使用 3D 网格其中 z 坐标对应于亮度但在每个单元内我们存储一个 3 × 4 仿射矩阵1 × 4 用于将颜色映射到灰色的运算符。混合模型仅通过将亮度边缘编码为欧几里德距离来尊重亮度边缘但局部将算子建模为仿射颜色变换如 [Bousseau 等人2017] 中所示2009]。我们所有的结果都使用这个颜色模型。
Connection to transform recipes
同时transform recipes [Gharbi 等人2015]以不同的方式处理颜色对于亮度它们也适合将输入强度映射到输出强度的局部曲线。事实上他们更进一步为每个空间频带拟合不同的曲线。然而在这种表示中拟合高频项需要访问全分辨率输入和输出这对我们来说回避了这个问题。我们正在尝试生成全分辨率输出而无需在该分辨率下运行原始运算符。尽管存在这样的缺陷我们的技术在 PSNR 方面的功能和转换方法图 8都快得多。 4 Algorithm
我们通过将成像算子应用于低分辨率版本的输入将仿射模型的双边网格拟合到低分辨率输入/输出对然后将模型应用于高分辨率输入来加速成像算子。我们提出了两种拟合仿射模型的方法。第一个基于优化速度较慢但会产生最高质量的结果。第二个是在移动设备上实时运行的快速近似。
一旦拟合将模型应用于高分辨率输入涉及每像素三线性插值以检索 3 × 4 仿射颜色变换然后进行矩阵乘法以生成输出颜色。这可以在 GPU 上快速完成补充材料中包含实现此功能的 OpenGL 着色器。
Preliminaries
陈等人[2007]表明图像相对于引导的联合双边滤波可以表示为 splat-blur-slice 过程。我们通过将输入值分布在由引导图像确定的位置处构建双边网格用小高斯核模糊网格中的值然后通过在由引导图像确定的相同位置采样来将值从网格中切出。巴伦等人[2015]表明通过匹配重建滤波器例如三线性滤波可以表示为 STBSx其中 x 是要滤波的值的向量S 和 ST 分别是依赖于引导图像的 splat 和 slice 矩阵并且B 是网格空间中的模糊。使用这种表示法我们建立了一个优化问题来求解仿射模型网格。
Optimization 该优化问题可以使用标准有限元分析进行离散化并使用稀疏 QR 分解求解得到的线性方程组。对于 320 × 240 图像和 20 × 15×10 双边网格我们的 MATLAB 实现在桌面工作站上大约需要 15 秒这对于实时应用程序来说太慢了。下面我们得出了适合在移动设备上部署的快速近似值。
Fast approximation 我们的快速近似是用 Halide 图像处理语言编写的 [Ragan-Kelley 等人2013]并且基于该项目的双边网格示例代码。它以相同的方式进行并行化、矢量化和局部融合。使用默认设置我们的实现可以在台式机 CPU 上 1-2 毫秒内解决仿射模型在移动 CPU 上大约 10 毫秒见图 5。
Connection to the fast guided filter
快速引导滤波器 [He and Sun 2015] 拟合仿射矩阵阵列将输入 RGB 映射到重叠图块内的输出 RGB。它之所以快不仅因为它适合低分辨率还因为它利用了我们所做的相同技巧——它模糊了 Gram 矩阵以产生重叠问题。如果我们将快速逼近限制为单个强度箱从而将数组的维数从三维减少到二维并相应地使用双线性插值而不是三线性插值来切出仿射矩阵我们的方法就变成了快速引导滤波器。该技术只能表达局部直线而不能表达局部曲线因此对一组更有限的算子进行建模见图 8。
Connection to joint bilateral upsampling
虽然Kopf等人[2007]最初并没有这样描述但联合双边上采样可以使用双边网格来实现方法是将低分辨率的输出值溅射到由低分辨率输入强度确定的位置在网格内进行模糊然后在由高分辨率图像确定的位置进行切片[Adams 2011]。如果我们限制我们的快速方法只求解每个网格单元中的常数项而不是一个仿射矩阵它就简化为这种联合双边上采样的实现。我们在每个网格单元中求解的线性系统简化为1 × 1正是联合双侧上采样所需权值之和的除法。
拟合常数而不是仿射矩阵往往会产生分段常数输出再次参见图 8。科普夫等人因此不要使用联合双边上采样来直接生成输出 RGB 值而是使用自然分段常数的量例如深度、alpha 遮罩、色度或用于局部色调映射的增益图。因此有效利用联合双边上采样需要一定程度的针对特定问题的洞察力。
请注意如果我们通过将极限设为 λ → ∞ 来降低快速方法的性能则方程 2 变为 M γI。这表明我们的正则化器相当于 Kopf 的色调映射方法该方法联合双边对局部增益图进行上采样。
因此我们的快速近似统一了快速引导滤波器和联合双边上采样如果适当限制的话可以减少到其中任何一个并且比两者都更具表现力。
5 Results
我们评估了我们的全局方法和各种图像处理算子的快速逼近应用于transform recipes数据集中的 116 个图像。我们运行的操作符有 大多数图像为 5–8 Mpixel肖像为 1.3 Mpixel。我们对每个图像进行 4 倍和 8 倍的框下采样然后应用算子产生低分辨率输出。我们在一系列网格分辨率上运行双边引导上采样并通过计算其 PSNR 和相对于地面实况的结构相似性指数 (SSIM) 来评估图像质量。使用 8 倍下采样、8 个强度箱和对应于低分辨率输入中 16 × 16 像素的空间箱的默认参数我们的全局方法在整个数据集上实现了 28.4 dB 的平均 PSNR 和 0.92 的平均 SSIM。我们的快速近似产生的图像质量稍低平均 PSNR 为 27.0 dB平均 SSIM 为 0.88但在桌面工作站上运行时间不到 1 毫秒。为了测量交换性的影响我们对全分辨率地面实况进行框下采样以表示通过下采样进行交换的理想尺度不变算子的输出见图 6。当应用于这些图像对时全局方法的平均 PSNR 和 SSIM 增加到 33.3 dB 和 0.94快速近似方法的平均 PSNR 和 SSIM 增加到 29.3 dB 和 0.88。图 6 和图 7 中图像的全分辨率版本以及整个数据集的 PSNR 和 SSIM 均包含在补充中。
对于具有默认参数的 10 MPixel 图像我们在桌面 CPU 上的快速近似需要 2 毫秒将采样降低 8 倍需要 2 毫秒来拟合曲线并需要 13 毫秒来应用曲线。大部分成本来自双边网格的三线性插值这在没有纹理硬件的 CPU 上速度很慢但在 GPU 上几乎免费。实际上对于大多数应用程序如图 7 所示性能主要取决于以低分辨率运行原始算子即使我们通过以 8 倍降低的分辨率计算获得了 64 倍加速。
Discussion and Limitations
在给定正确的参数的情况下全局优化及其快速逼近都表现良好。虽然我们在图 7 中使用了统一的参数设置但下采样因子和网格分辨率的最佳选择取决于算子反映了算子发挥作用的自然尺度。大多数运算符都有语义上有意义的参数指导它们如何随分辨率缩放。线性参数例如滤波器半径应线性缩放例如USM锐化对数参数例如金字塔级别数应减去例如局部拉普拉斯算子、纵向传输并且正确设计的正则化器应具有诸如逆像素之类的单位或反像素平方这决定了它们如何缩放。对于标签传播我们保守地使用最近邻来对掩模进行下采样着色、抠图、肖像传输。
我们方法的质量取决于算子是否可以建模为局部曲线以及以降低的分辨率运行它是否能够忠实地捕获它对同一场景的更高分辨率图像的作用。但情况并非总是如此图 6。对于增强最高频率的小支撑非锐化掩模我们的局部曲线模型仅适用于小空间箱并且下采样可能完全丢弃我们学习有效模型所需的频率。在相反的极端情况下全局对比度曲线仅需要一个空间箱并且可以从分辨率非常低的输入/输出对拟合曲线。当网格箱的大小或下采样因子对于操作符来说太大时我们在应用单个全局曲线的方向上会失败这仅仅保留输入细节而不是增强它例如风格转移中的墙或者抑制它例如L0 平滑和 alpha 抠图。引导滤波器和联合双边上采样更强烈地表现出同样的现象图 8。 Transform Recipes 基于金字塔的模型具有更强的代表性但需要以全分辨率运行原始算子。如果人们可以在不以全分辨率运行原始运算符的情况下学习Transform Recipes 则可能会获得这两种技术的好处。
6 Conclusion
我们描述了一种加速一大类图像算子的简单方法。对于许多算子来说输入中具有相似颜色的附近像素在输出中也具有相似的颜色这意味着将输入颜色映射到输出颜色的图像相关函数在双边空间中是平滑的。我们可以通过以降低的分辨率运行算子并拟合将输入映射到输出的仿射矩阵双边网格来学习这个平滑函数。这个仿射矩阵的集合可以被认为是真实函数的切平面——对于每个输入位置和强度常数项产生输出颜色线性项控制输入位置或颜色的微小变化如何产生输出颜色的微小变化输出颜色。因此它们让我们能够在给定更高分辨率的输入的情况下准确预测操作员的结果。
我们的模型可以单独限制为常数项以产生联合双边上采样或者限制为单个强度箱以产生快速引导滤波器。因此我们将这两种方法联系起来并证明它们都可以解释为通过拟合和应用局部模型进行重采样。
