ICLR 2024 | 利用联合雨/细节感知表征消除复杂降雨

主要观点总结

本文详细介绍了论文“Harnessing Joint Rain-/Detail-Aware Representations To Eliminate Intricate Rains”的内容，包括其创新点、摘要、方法、实验结果等。该论文提出了一种基于上下文的实例级调制（CoI-M）机制和联合雨/细节感知对比学习策略，用于在混合数据集上训练自适应图像去雨模型。

关键观点总结

关键观点1: 论文标题

Harnessing Joint Rain-/Detail-Aware Representations To Eliminate Intricate Rains

关键观点2: 主要研究者

Wu Ran, Peirong Ma, Zhiquan He, Hao Ren, Hong Lu

关键观点3: 创新点

提出基于上下文的实例级调制（CoI-M）机制；开发联合雨/细节感知对比学习策略；引入CoIC训练方法，提高模型去雨性能

关键观点4: 摘要

近期图像去雨领域进展集中在混合数据集上训练强大模型，但忽略雨图内在差异。作者通过挖掘包含雨和背景成分的有意义表示处理各种雨图，提出基于上下文的实例级调制（CoI-M）机制，结合雨/细节感知对比学习策略，开发CoIC算法。

关键观点5: 方法

利用实例级表示提取、联合雨/细节感知对比学习、基于上下文的实例级调制等方法，促进在混合数据集上训练模型。

关键观点6: 实验结果

大量实验验证了CoIC在提升CNN和Transformer模型去雨能力方面的有效性，当包含真实世界数据集时，CoIC也显著增强了模型的去雨能力。

免责声明