计算机工程

作者：焦世超, 关日鹏, 况立群, 熊风光, 韩燮

单位：1. 中北大学计算机科学与技术学院, 山西 太原 030051;2. 机器视觉与虚拟现实山西省重点实验室, 山西 太原 030051;3. 山西省视觉信息处理及智能机器人工程研究中心, 山西 太原 030051

关键词：跨域检索,特征对齐,域对齐,草图,真实图像,三维模型,相关性学习

基金：国家自然科学基金(62272426,62106238);山西省科技重大专项计划"揭榜挂帅"项目(202201150401021);山西省科技成果转化引导专项(202104021301055);山西省回国留学人员科研项目(2020-113);山西省基础研究计划(202203021222027)。

基于图像的视觉数据跨域检索任务旨在搜索与输入图像在语义上一致或外形上相似的跨域图像和三维模型数据,其面临的主要问题是处理跨域数据之间的模态异质性。现有方法通过构建公共特征空间,采用域适应算法或深度度量学习算法实现跨域特征的域对齐或语义对齐,其有效性仅在单一类型的跨域检索任务中进行了验证。提出一种基于深度语义关联学习的方法,以适用多种类型的基于图像的跨域视觉数据检索任务。首先,使用异构网络提取跨域数据的初始视觉特征;然后,通过构建公共特征空间实现初始特征映射,以便进行后续的域对齐和语义对齐;最后,通过域内鉴别性学习、域间一致性学习和跨域相关性学习,消除跨域数据特征之间的异质性,探索跨域数据特征之间的语义相关性,并为检索任务生成鲁棒且统一的特征表示。实验结果表明,该方法在TU-Berlin、IM2MN和MI3DOR数据集中的平均精度均值(mAP)分别达到0.448、0.689和0.874,明显优于对比方法。

来源：2024年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第5期