CVPR 2022丨高分辨率图像和谐化

CVPR 2022丨高分辨率图像和谐化

1 背景介绍

图像合成（image composition）是指把一张图片的前景粘贴到另外一张背景图片上，得到一张合成图。通过简单拼接得到的合成图可能会有很多问题，比如前景的大小位置不合理、前景的透视角度不合理、前景和背景衔接不自然、前景和背景的颜色光照不和谐等等。这些因素都会导致合成图质量下降，看起来不真实。作为图像合成的子领域，图像和谐化旨在解决前景和背景之间颜色光照不和谐的问题，通过调整前景的颜色光照，使其和背景更适配。在实际应用中我们经常需要对高分辨率图像进行和谐化，因此研究高分辨率图像和谐化具有重要意义。

2 方法介绍

现有的深度学习图像和谐化方法大多基于编码器-解码器的结构，在低分辨率图像和谐化任务上取得了优异的性能。但是直接将这些方法应用于高分辨率图像和谐化会有诸多问题。

一方面，随着图像分辨率的增加，存储成本和计算成本会变得十分高昂。另一方面，这些方法主要叠加局部卷积操作，捕捉长程关系的能力较弱，对于前景面积占比较大的图片和谐化效果不佳。

在这篇论文中，我们将之前深度学习图像和谐化方法总结为像素到像素（pixel-to-pixel）变换的方法，提出了颜色到颜色变换（color-to-color）的方法，并且将两种类型的方法有机融合在同一个框架下，因此方法的名字叫做Collaborative Dual Transformations (CDTNet)。我们的论文已被CVPR2022接收，arXiv地址和GitHub地址如下。

arXiv地址：https://arxiv.org/pdf/2109.06671.pdf

GitHub地址：https://github.com/bcmi/CDTNet-High-Resolution-Image-Harmonization

下图是我们的网络结构示意图。我们的方法由一个低分辨率图像和谐化网络，一个颜色变换模块，和一个微调模块构成。低分辨率图像和谐化网络是编码器-解码器结构，对低分辨率合成图进行和谐化。颜色变换模块旨在用颜色查找表look-up table (LUT)对前景进行颜色变换。我们为所有图片学习共享的一组基底LUT，然后为每一张图片学习特有的基底LUT的组合系数，通过基底LUT和组合系数得到每张图片特有的颜色变换。我们通过共享编码器把颜色变换模块和低分辨率图像和谐化网络有机地结合起来。

具体来说，基于编码器提取的特征图，我们可以获取前景特征和背景特征，拼接之后用于预测LUT的组合系数。直观上来说，我们假设通过比较前景特征和背景特征，能够预测出将前景的颜色光照域变换到背景的颜色光照域的组合系数。共享编码器的做法属于多任务学习的框架，一方面输出低分辨率的和谐化结果，一方面输出LUT的组合系数。我们实验发现共享编码器对预测LUT的组合系数很有帮助。

颜色变换不受图片分辨率的制约，可以轻松获取高分辨率的和谐化结果。然而，这种全局颜色变换的方式没有考虑图片的局部信息，可能会出现局部不和谐的情况，特别是在光照情况比较复杂的情况下效果欠佳。并且，通过LUT组合系数学到的颜色变换未必准确，表达能力有限。因此，我们追加了一个高分辨率上的微调模块。为了不增加过多的开销，我们设计了轻量级的微调模块。

具体来说，我们把上采样的低分辨率和谐化结果，颜色变换得到的高分辨率和谐化结果、上采样的解码器特征、前景掩码拼接起来，过两层卷积得到最终的和谐化结果。我们实验发现微调模型虽然结构简单，却非常有效。

我们完整方法的名字叫CDTNet, 同时我们也测试了CDTNet的简化版本CDTNet(sim)。在测试阶段，简化版本只用编码器预测LUT组合系数，通过颜色变换得到高分辨率的和谐化结果，而不经过解码器和微调模型。该简化版本结构极简，但可以保持还不错的性能。所以实际应用中可以权衡性能和效率，决定采用完整版方法或者简化版方法。

3 实验结果

我们使用iHarmony4数据集中的HAdobe5K子数据集，在1024和2048两种分辨率上做实验。实验结果表明我们的方法在极大节省空间存储和计算代价的情况下取得了最佳的性能，具体实验结果参见论文。部分可视化结果如下，我们放大黄框内的区域以便更好地展示和谐化效果。

因为HAdobe5K是伪造合成图（synthetic composite image）,不是真实的合成图，所以我们制作了100张高分辨率的真实合成图（real composite image），在真实合成图上进一步验证我们方法的性能，具体实验结果参见论文。

4 未来方向

个人感觉颜色到颜色的变换还有较大的提升空间，可以在颜色变换的形式、细节设计、特征提取等方面做文章。

风卷残云破解 http://www.cityruyi.com/lm-4/lm-1/7622.html