TMM 2024 | 基于自适应注意力融合的相互双任务生成器用于图像修复

主要观点总结

本文介绍了论文“基于自适应注意力融合的相互双任务生成器用于图像修复”的主要内容。该论文提出了一种新的图像修复方法，通过相互双任务生成器框架和自适应注意力融合模块实现图像纹理与语义分割之间的相互依赖，提升语义对图像修复的指导效果。论文包括方法、实验和结论等部分。

关键观点总结

关键观点1: 论文创新点

提出相互双任务生成器框架和自适应注意力融合模块，通过双向跨域特征反归一化（CFDN）模块和语义亲和力交叉注意力（SA）、全局上下文自注意力（GA）和门控特征融合（GFF）等模块，实现图像纹理与语义分割之间的相互依赖，提升图像修复性能。

关键观点2: 方法描述

论文构建一个端到端的架构，包括粗略修复网络、相互双任务生成器和自适应注意力融合模块。粗略修复网络为缺失孔洞生成初始像素内容，相互双任务生成器中的共享编码器提取统一特征，双解码器分别解码为纹理和语义分割特征，并通过CFDN模块和AAF模块相互协作，优化修复质量。

关键观点3: 实验结果

实验结果表明，所提出的相互双任务生成器流水线在三个公开数据集上的修复性能优于现有方法。

免责声明