我院教师李昕、研究生王志宽在中科院大类分区1区TOP期刊《Tsinghua Science and Technology》发表题为“SemID: Blind Image Inpainting with Semantic Inconsistency Detection”的研究论文。《Tsinghua Science and Technology》2023年影响因子为6.6，近五年平均影响因子为4.2，为银河电子游戏1331T1期刊。

大多数现有的图像修复方法是填充目标图像中内部空洞区域的缺失内容。然而，在现实场景中，需要恢复的区域是不明确的，过去的的研究缺乏明确的掩码信息，同时不一致的模式与图像内容复杂地混合在一起，不能很好修复退化区域。因此，本文认为估计某些像素是否脱离原始数据的分布，并考虑它们是否与上下文一致是必要的。 受到这些观察的启发，本文提出了一个两阶段的图像盲修复网络，该网络利用图像的全局语义特征来定位语义不一致的区域，然后在这些区域生成合理的内容。具体来说，首先放大不一致和可用内容之间的表示差异，从粗到细迭代预测需要修复的区域。然后使用基于预测掩码的信任驱动修复网络估计有关缺失区域的信息。 此外，本文还引入了一个多尺度上下文聚合模块，用于空间特征转移，以完善生成的内容。通过在多个数据集上的广泛实验表明，本文所提出的方法可以生成视觉上合理且结构上完整的结果，特别有效地恢复多样的退化图像。

原文DOI：https://doi.org/10.26599/TST.2023.9010079