学术报告

《Neural Image Recolorization for Creative Domains》是一篇发表于IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) 2022的学术文章，文章的主要作者包括 Boyi Li (Cornell University)、Serge Belongie (University of Copenhagen)、Ser-Nam Lim (Meta AI) 和 Abe Davis (Cornell University)。本文主要介绍了一种名为Colorhouse的新型深度学习框架，该框架用于图像的神经重着色（Neural Recolorization），特别是针对设计导向领域中的创意应用。

学术背景

本研究属于计算机视觉与模式识别领域，特别聚焦于图像的颜色重制与转换问题。从视觉艺术的历史中可以看出，“色彩调色板”（color palette）的概念在画家的混色盘中源远流长。而在现代数字化的场景中，色彩调色板逐渐演变为色彩分布与美学控制的核心工具，特别是在室内设计等领域中，调色板的使用常能反映设计师的审美决策。然而，以往的色彩重制方法（如直方图匹配、风格转换等）存在一定局限，通常难以生成自然的、贴合用户意图的设计导向输出。

Colorhouse的开发旨在克服这些局限，目标是实现基于样例图像（Exemplar）或目标色彩调色板的自动化重着色。相比于以往的方法，该方法不仅能够更精确地控制色彩分布，还提出了一种创新的方式来分别处理物体反射特性（Reflectance）与场景光照（Illumination）的影响，为设计领域创造了更多可能性。

研究流程

本文描述了两阶分层的Colorhouse框架以及其中的技术创新：

第一阶段：基于样例图像的重着色

第一阶段使用样例驱动的方式进行重着色，模型的目标是学习目标域内颜色分布的潜在表示（Latent Representation）。具体流程如下：

1. 输入图像处理
   通过一个内容编码器（Content Encoder）和一个颜色编码器（Color Encoder）对输入图像进行分解。作者在内容编码器中引入了一种名为“Moment Shortcut”的策略，它在模型的早期层中提取结构信息（如均值与标准差）并传递至后续层，从而提升训练效果。

2. 重着色生成网络（Recolorization Backbone）
   编码后的内容与颜色表示被输入到解码器（Decoder）中，生成重着色输出。这一生成过程类似于风格迁移，但去除了亮度显式约束，以更灵活地捕捉颜色风格。

3. 对抗性训练与目标函数
   使用对抗性生成网络（GAN）进行训练，同时引入类别损失（Identity Loss）和循环一致性损失（Cycle Loss）等目标函数以确保生成结果的自然性与精确性。

第二阶段：基于调色板的重着色

第二阶段扩展了第一阶段的模型，通过调色板和目标光照进一步控制重着色输出。具体包含以下步骤：

1. 调色板提取与光照估计
   为了实现直接从输入图像中提取调色板并进行区分，作者开发了一种可微分的调色板网络，改进传统的非可微工具Color Thief。该网络通过卷积操作和池化机制提取原始图像的调色板。

2. 光照独立的表示
   作者引入了一种新的机制，通过单独预测光照颜色（Illumination Color），确保模型在还原调色板的同时能够独立调整光照条件。为了训练光照模型，研究者采用了基于[3, 16]的网络，并在测试阶段将默认光照颜色设为中灰色，以生成白平衡结果。

3. 训练与生成
   在第二阶段的训练时，第一阶段学到的颜色潜在表示被固定，允许系统将新的调色板和光照信息编码到模型中，再通过解码器生成最终图像输出。为增加输出的自然性，作者进一步融入了光照调整损失。

实验结果

作者通过多个实验验证了Colorhouse的性能：

与基于样例的方法比较

作者选取了多种室内设计场景图像，使用Colorhouse与几种流行的基线方法（如Neural Style Transfer、Histogram Matching、Monge-Kantorovich方法等）进行对比。实验显示：

1. Colorhouse在Inception Score评估中达到了最高分（2.49±0.1），显著优于其它方法。
2. 对于定性结果，传统方法（如直方图匹配等）容易带来全局颜色失真或与参考图像风格不符的输出，而Colorhouse能够生成更加自然且视觉上贴合参考的结果。

与基于调色板的方法比较

对于基于调色板的方法，作者展示了Colorhouse相比流行的调色板分解算法（如[5, 23]）的优势。在给定复杂调色板的情况下，Colorhouse能够有效解释新颜色模式并生成自然的结果。

用户研究

研究者还组织了包含50名参与者的用户研究。实验随机抽取了100组示例，对比了加入与不加入光照损失的输出结果。结果表明，91%的参与者更倾向选择加入光照损失的Colorhouse生成的图像，显示其能够更好地反映物体的反射特性。

总结与意义

Colorhouse通过结合样例驱动方法与调色板驱动方法，不仅提供了对图像重着色的灵活控制，还能够实现光照与反射特性分离的独特优点。这种能力在室内设计等领域具有重要的实际应用价值，例如帮助设计师直观地理解并评估不同的美学决策。与此同时，这一框架的创新在于：

1. 提出了高效的潜在颜色空间学习方法。
2. 开发了可微分的调色板与光照预测工具。
3. 实现了更高的生成自然性与视觉一致性的结合。

Colorhouse为未来的视觉重着色技术开发开辟了新的方向，同时展示了GAN在设计领域潜在的广泛应用。研究者建议未来工作可以围绕Colorhouse进一步研究如何结合用户交互实现更加实用的设计工具。

这项研究不仅推进了计算机视觉的学术前沿，也为创意设计领域打开了全新可能性，期待其在实际应用中带来更多创新案例。