计算机工程

作者：沈秀轩, 吴春雷, 冯叶棋, 程铭, 张俊三, 朱杰

单位：1. 中国石油大学(华东) 计算机科学与技术学院, 山东 青岛 266580;2. 宸芯科技有限公司, 山东 青岛 266580;3. 中央司法警官学院 信息管理系, 河北 保定 071000

关键词：医学影像报告生成,全局特征,局部特征,特征融合,图像-文本生成

基金：山东省自然科学基金(ZR2020MF006);河北省自然科学基金(F2022511001);中国石油大学(华东)自主创新科研计划项目(20CX05019A)。

医学图像的全局特征在基于深度学习的医学影像报告自动生成任务中发挥着重要作用，传统方法通常仅使用单分支卷积神经网络提取图像语义特征，注重局部细节特征的提取，但缺乏对医学图像全局特征的关注。提出一种新的医学影像报告生成方法DBFFN，基于双分支特征融合，结合卷积神经网络与视觉Transformer各自在图像特征提取上的优势，分别提取给定医学图像的全局特征和局部特征，在计算图像全局关系的同时关注局部细微的语义信息。针对医学图像的特征融合问题，设计一种多尺度特征融合模块，对来自两个分支的图像特征进行自适应尺度对齐，并结合矩阵运算方法和空间信息增强方法有效融合全局特征与局部特征内部包含的语义信息。在IU-X-Ray数据集上的实验结果表明，DBFFN方法的BLEU-1～BLEU-4，METEOR，ROUGE-L指标平均值分别为0.496，0.331，0.234，0.170，0.214，0.370，优于HRNN、HRGR、CMAS-RL等方法，在医学影像报告自动生成任务上具有有效性。

来源：2023年第6期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第6期