计算机工程

作者：张炯, 王丽芳, 蔺素珍, 秦品乐, 米嘉, 刘阳

单位：中北大学 大数据学院 山西省生物医学成像与影像大数据重点实验室, 太原 030051

关键词：医学图像融合,编码器-解码器网络,Transformer网络,特征耦合,交叉尺度注意

基金：山西省应用基础研究计划“纹理和边缘信息在癌症、脑肿瘤医学影像融合中的探索研究”（201901D111152）。

现有基于深度学习的多模态医学图像融合方法存在全局特征表示能力不足的问题。对此，提出一种基于局部全局特征耦合与交叉尺度注意的医学图像融合方法。该方法由编码器、融合规则和解码器三部分组成。编码器中采用并行的卷积神经网络（CNN）和Transformer双分支网络分别提取图像的局部特征与全局表示。在不同尺度下，通过特征耦合模块将CNN分支的局部特征嵌入Transformer分支的全局特征表示中，最大程度地结合互补特征，同时引入交叉尺度注意模块实现对多尺度特征表示的有效利用。编码器提取待融合原始图像的局部、全局以及多尺度特征表示，根据融合规则融合不同源图像的特征表示后再输入到解码器中生成融合图像。实验结果表明，与CBF、PAPCNN、IFCNN、DenseFuse和U2Fusion方法相比，该方法在特征互信息、空间频率、边缘信息传递因子、结构相似度、感知图像融合质量这5个评价指标上分别平均提高6.29%、3.58%、29.01%、5.34%、5.77%，融合图像保留了更清晰的纹理细节和更高的对比度，便于疾病的诊断与治疗。

来源：2023年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第3期