计算机工程

作者：韩华, 黄丽, 田瑾, 王春媛

单位：上海工程技术大学 电子电气工程学院 上海市数据智能技术及其应用协同创新中心, 上海 201620

关键词：行人重识别,双中间模态,四流骨干网络,跨模态重识别,参数共享

基金：国家自然科学基金(62103257); 国家自然科学基金(61305014); 科技创新2030—“新一代人工智能”重大项目(2020AAA0109300); 上海市自然科学基金(22ZR1426200); 上海市教育委员会和上海市教育发展基金会“晨光计划”(13CG60)

摄像头大多配备红外和可见光功能，因此，重识别方法的应用必然要解决跨模态行人重识别问题。为缩小跨模态行人重识别中红外和可见光模态之间的差异，提高识别精度，提出基于双中间模态的四流跨模态行人重识别方法。由2个轻量级网络分别生成可见光模态和红外模态的双中间模态图像，并从可见光图像和红外图像中继承标签，通过拆分ResNet50骨干网络以重构适应于4种模态共享特征学习的网络。此外，还探讨了四流骨干网络中的参数共享问题，分析四模态共享块数量对于跨模态行人重识别的影响。实验结果表明，相比HcTri，该方法在SYSU-MM01数据集上的全局检索模式下的Rank-1和mAP分别提高2.38和4.64个百分点，在室内检索模式下分别提高6.24和6.77个百分点，在RegDB数据集上可见光至红外检索模式下的Rank-1、mAP和mINP分别提高2.52、3.74和4.68个百分点，在红外至可见光检索模式下的Rank-1、mAP和mINP分别分别提高2.70、3.47和5.56个百分点。

来源：2023年第8期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第8期