计算机工程

作者：王旖旎, 高永彬, 万卫兵, 杨淑群, 郭茹燕

单位：上海工程技术大学 电子电气工程学院, 上海 201600

关键词：场景图,视觉关系,外部知识库,注意力机制,适应性推理

基金：国家自然科学基金青年科学基金项目（61802253）。

为在场景图生成网络中获得重要的上下文信息，同时减少数据集偏差对场景图生成性能的影响，构建一种基于外部知识库与适应性推理的场景图生成模型。利用结合外部知识库的目标检测模块引入语言先验知识，提高实体对关系类别检测的准确性。设计基于Transformer架构的上下文信息提取模块，采用两个Transformer编码层对候选框和实体对关系类别进行处理，并利用自注意力机制分阶段实现上下文信息合并，获取重要的全局上下文信息。构建特征特殊融合的适应性推理模块，通过软化分布并根据实体对的视觉外观进行适应性推理关系分类，缓解实体对关系频率的长尾分布问题，提升模型推理能力。在VG数据集上的实验结果表明，与MOTIFS模型相比，该模型在谓词分类、场景图分类和场景图生成子任务上的Top-100召回率分别提升了1.4、4.3、7.1个百分点，对于多数关系类别具有更好的场景图生成效果。

来源：2022年第9期

《计算机工程》期刊编辑部

查看计算机工程杂志2022年第9期