计算机工程

北大核心,CA,INSPEC,JST,Pж(AJ)

国内刊号:31-1289/TP

国际刊号:1000-3428

计算机工程杂志2023年第9期:基于Transformer和多尺度CNN的图像去模糊

发布日期:

作者:李现国, 李滨

单位:1. 天津工业大学 电子与信息工程学院, 天津 3003872. 天津市光电检测技术与系统重点实验室, 天津 300387

关键词:图像去模糊,多尺度卷积神经网络,Transformer编码器,多头自注意力,增强前馈网络

基金:天津市重点研发计划科技支撑重点项目(18YFZCGX00930)

卷积神经网络(CNN)单独应用于图像去模糊时感受野受限,Transformer能有效缓解这一问题但计算复杂度随输入图像空间分辨率的增加呈2次方增长。为此,提出一种基于Transformer和多尺度CNN的图像去模糊网络(T-MIMO-UNet)。利用多尺度CNN提取空间特征,并嵌入Transformer全局特性捕获远程像素信息。设计局部增强Transformer模块、局部多头自注意力计算网络和增强前馈网络,采用窗口的方式进行局部逐块多头自注意力计算,通过增加深度可分离卷积层,加强不同窗口之间的信息交互。在GoPro测试数据集上的实验结果表明,T-MIMO-UNet的峰值信噪比相比于MIMO-UNet、DeepDeblur、DeblurGAN、SRN网络分别提升了0.39 dB、2.89 dB、3.42 dB、1.86 dB,参数量相比于MPRNet减少了1/2,能有效解决动态场景下的图像模糊问题。

来源:2023年第9期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第9期

联系我们

  • 地址:上海市嘉定区澄浏公路63号
  • 电话:(021) 67092217
  • E-mail:ecice06@ecict.com.cn

咨询工作人员