我院教师邵明文、博士生乔元健在中科院大类分区1区TOP期刊《Knowledge-Based Systems》发表题为“Uncertainty-guided hierarchical frequency domain Transformer for image restoration”的研究论文。《Knowledge-Based Systems》2023年影响因子为8.139,近五年平均影响因子为6.319,为银河电子游戏1331T1期刊。
现有的基于卷积神经网络(CNN)和基于视觉变换器(ViT)的图像恢复方法通常在空间域中进行探索。然而,我们利于用傅里叶分析表明,这些空间域模型不能感知图像的整个频谱,即,主要关注高频(基于CNN的模型)或低频分量(基于ViT的模型)。这种内在的限制导致语义信息的部分缺失和伪影的出现。为了解决这一限制,我们提出了一种新的不确定性引导的分层频域Transformer(HFDT),以有效地学习高频和低频信息,同时感知局部和全局特征。具体而言,为了从不同的频率级别聚集语义信息,我们提出了一种双域特征交互机制,其中通过相应的分支提取全局频率信息和局部空间特征。频域分支采用快速傅里叶变换(FFT)将特征从空间域转换到频域,其中全局低频和高频分量以对数线性复杂度学习。作为补充,在空间域分支中使用有效的卷积组来捕获局部高频细节。此外,我们引入了一种不确定性退化引导策略,以有效地表示退化的先验信息,而不是简单地以二进制形式区分退化/非退化区域。我们的方法在几种退化场景中获得了很好的结果,包括雨纹、雨滴、运动模糊和散焦模糊。