计算机工程

作者：冯赛赛, 葛东峰, 李涛, 刘一靖, 冀治航, 王琳, 张明川

单位：1. 河南科技大学信息工程学院, 河南 洛阳 4710002. 河南科技大学第一附属医院, 河南 洛阳 471000

关键词：多模态融合,注意力机制,病理辅助诊断,深度学习,宫颈上皮内瘤变

基金：国家自然科学基金(62102134); 河南省科技攻关项目(232102210048); 河南省科技攻关项目(232102211008); 河南省科技攻关项目(232102210028)

近年来, 深度学习在医学图像处理领域的应用取得了显著进展。然而, 现有的方法大多采用图像分类的方式来辅助医生进行病理诊断, 在某些情况下可能会出现缺乏可解释性的问题。为了解决这一问题, 提出一种基于多模态特征融合的宫颈上皮内瘤变(CIN)分类模型。在这个多模态分类模型中, 患者的病理图像作为图像模态数据, 而相应的病理报告描述则作为文本模态数据。当前多模态模型在处理不同模态信息时, 大多采用简单拼接的方法组合各个模态的特征, 往往忽略了跨模态信息之间的联系。为了促进跨模态信息之间的交互, 采用一种改进的Nonlocal注意力机制, 以提高模型对数据的全面理解能力。同时, 考虑到现实中并非每张图像都有相应的病理报告, 因此在训练中采用一种文本"丢弃"的编码策略, 以确保训练好的模型在文本信息缺失时仍能够实现较高的分类准确率。实验结果表明, 该模型在CIN分类方面具有良好的性能, 相较于传统的ResNet、ConvNeXt、MobileViT等单模态方法在分类准确率方面提升了7~9百分点。

来源：2025年第12期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第12期