计算机工程

作者：谢树春, 陈志华, 盛斌

单位：1. 华东理工大学 信息科学与工程学院, 上海 200237;2. 上海交通大学 电子信息与电气工程学院, 上海 200240

关键词：遥感图像,深度学习,语义分割,RGB-IR多通道,细节特征抽取,特征融合注意力

基金：国家自然科学基金面上项目“光照一致的立体视频编辑与合成技术研究”（61672228）；装备预研教育部联合基金“基于遥感数据的目标识别预警和关联决策技术研究”（6141A02022373）。

现有基于深度学习的语义分割方法对于遥感图像的地物边缘分割不准确，小地物分割效果较差，并且RGB图像质量也会严重影响分割效果。提出一种增强细节的RGB-IR多通道特征融合语义分割网络MFFNet。利用细节特征抽取模块获取RGB和红外图像的细节特征并进行融合，生成更具区分性的特征表示并弥补RGB图像相对于红外图像所缺失的信息。在融合细节特征和高层语义特征的同时，利用特征融合注意力模块自适应地为每个特征图生成不同的注意力权重，得到具有准确语义信息和突出细节信息的优化特征图。将细节特征抽取模块和特征融合注意力模块结构在同一层级上设计为相互对应，从而与高层语义特征进行融合时抑制干扰或者无关细节信息的影响，突出重要关键细节特征，并在特征融合注意力模块中嵌入通道注意力模块，进一步加强高低层特征有效融合，产生更具分辨性的特征表示，提升网络的特征表达能力。在公开的Postdam数据集上的实验结果表明，MFFNet的平均交并比为70.54%，较MFNet和RTFNet分别提升3.95和4.85个百分点，并且对于边缘和小地物的分割效果提升显著。

来源：2022年第10期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第10期