计算机工程

作者：安国成, 江波, 王晓龙, 戴军

单位：1. 上海华讯网络系统有限公司服务运作部, 上海 2011032. 中国电子科技集团公司第三十二研究所, 上海 201808

关键词：多模态学习,语义表征,对比学习,图文匹配,图像分类

基金：“十四五”国家重点研发计划项目(2023YFC3006700)

基于对比语言-图像的预训练(CLIP)方法在大规模图文数据上使双流架构下的模型能够较好地学习到统一的高级语义表征, 但CLIP模式仅约束图像-文本模态间的粗粒度语义对齐, 在同一模态下的语义表征仍需改进。为了使网络学习到更好的潜在统一语义表征, 提出一种基于拓展图文对比学习的多模态语义对齐方法。首先通过微调预训练的CLIP模型, 针对指定数据集优化语义表征, 设计双向匹配策略构造图文样本匹配拓扑图, 然后利用拓扑图中关联度更高的图文样本将对比学习进行拓展, 在图像-文本模态下进行粗粒度语义对齐, 同时在相同模态中进行细粒度调整, 并引入可学习参数调整各模态下的对比损失权重。通过在多个数据集下的实验结果表明, 该方法在不影响多模态语义对齐的性能下能够改进相同模态下的语义表征, 在分类、检索等下游任务上具有更好或相当的性能。

来源：2024年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第11期