ACM MM | 跨模态一致性增强：深度伪造检测的隐藏武器

主要观点总结

该论文介绍了一种名为“Locate and Verify”的深度学习模型，主要用于改进深度伪造检测。该模型采用双流网络架构，包括RGB图像和SRM噪声残差作为输入，通过三个新模块（CMCE、LFGA和MPFF）以及半监督策略（SSPSL）提高伪造检测的准确性。模型在六个主流数据集上进行了验证，并显示出显著的跨数据集泛化性能。

关键观点总结

关键观点1: 双流网络架构

该模型采用RGB图像和SRM噪声残差作为共同输入，通过扩大伪造证据的潜在区域来提高检测性能。

关键观点2: 三个新模块的作用

CMCE模块通过跨模态一致性增强RGB与SRM的互补性；LFGA模块利用定位分支提供的伪造区域注意力来增强分类特征；MPFF模块实现多尺度patch特征融合，捕捉浅层伪造痕迹并保持空间一致性。

关键观点3: 半监督策略（SSPSL）

在缺少伪造区域标注的情况下，通过半监督策略估计patch级伪造区域注释，实现无标注场景下的训练，提高模型的泛化能力。

关键观点4: 模型的适用场景

该模型适用于多模态信息融合场景，特别是需要同时利用RGB图像和SRM噪声残差时；也适用于伪造检测/图像取证任务，能从多源特征中提取伪造痕迹；此外，还可用于跨模态特征对齐任务。

关键观点5: CMCE模块的具体作用

CMCE模块通过一致性约束保证各模态保留自身特性，通过计算RGB与SRM特征的相关性互相强化伪造相关区域的特征响应，提升模型的泛化性和可移植性。

免责声明