计算机工程

作者：龙丽叶, 焦世超, 郭磊, 韩燮, 况立群

单位：1. 中北大学计算机科学与技术学院, 山西 太原 0300512. 机器视觉与虚拟现实山西省重点实验室, 山西 太原 0300513. 山西省视觉信息处理及智能机器人工程研究中心, 山西 太原 030051

关键词：多模态融合,三维模型,注意力,特征互补,损失函数

基金：国家自然科学基金(62272426); 山西省科技重大专项计划“揭榜挂帅”项目(202201150401021); 山西省科技成果转化引导专项(202104021301055); 山西省自然科学基金(202303021212189); 山西省自然科学基金(202303021211153); 山西省自然科学基金(202203021222027)

随着三维模型分类检索任务的不断发展, 多模态特征融合已经成为提高模型性能和丰富形状表征的关键技术之一。现有基于多模态的三维模型检索方法侧重于直接融合多种全局特征, 然后利用交叉熵损失拟合标签信息, 将检索任务转化为分类任务, 同时忽略了复杂三维模型多模态之间的局部互补信息, 导致检索性能不够理想。为了解决上述问题, 提出一种基于紧凑中心损失的全局-局部特征互补融合方法。首先, 利用预训练模型从点云数据和多视图数据中提取深度特征; 然后, 设计注意力感知融合模块, 利用点云与多视图特征间的关系分数细化视图特征集并融合点云特征, 以获得显著的局部互补信息; 其次, 引入多头注意力机制, 在特征动态聚合模块中自适应地探索全局点云特征、全局视图特征以及局部互补特征之间的潜在模态表示, 进一步融合互补特征并最小化冗余; 最后, 利用紧凑中心损失和交叉熵损失的联合约束, 在最小化类内距离的同时最大化类间距离, 生成具有高度区分性的特征描述符。在ModelNet40、ModelNet10数据集上的实验结果表明, 所提方法取得了93.4%、94.8%的分类准确率(OA)以及92.5%、95.1%的平均精度均值(mAP)。

来源：2025年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第2期