计算机工程

作者：陈东吉, 赖惠成, 高古学, 马骏, 李俊凯, 权虎拓

单位：新疆大学计算机科学与技术学院, 新疆 乌鲁木齐 830094

关键词：Transformer网络,人-物交互,预生成特征,教师网络,类相似度损失

基金：国家自然科学基金(2022ZD0115803); 新疆维吾尔自治区重点研发计划项目(2022B01008)

得到广泛应用的跨界之星Transformer, 在人-物交互(HOI)检测领域同样取得了很好的效果。基于此, 提出全新的基于知识蒸馏的Transformer(KDT)网络来进行端到端的HOI检测。由于Transformer网络建模的HOI整体特征粗糙, 针对HOI检测的3个子任务: 预测人框, 预测物框与物体类别, 预测人物之间的交互动作, 构建基础多分支Transformer结构, 包含一个人体实例分支、一个物体实例分支和一个交互分支, 并利用人、物分支的解码器为交互分支解码器提供人、物的区域线索。为了给Transformer结构提供关键的语义、空间信息, 预先生成物体类别和交互动词语义特征, 以及人物框的空间特征为不同的Transformer分支提供语义、空间线索, 进一步提升解码器对于不同HOI任务的特征提取能力。并在此基础上构建另一个多分支Transformer结构作为教师网络, 教师网络的解码器以预生成特征为解码器查询, 输出更精确的HOI特征。在训练过程中让基础多分支网络模仿教师网络的输出, 构建额外的类相似度损失度量两个网络输出预测之间的类内、类间向量相似度, 从而达到提升基础网络解码器性能的目的。实验结果表明, 在人-物交互基准数据集HICO-DET所有类别、稀有类别和非稀有类别上的均值平均精度(mAP)分别为32.13%、28.57%和33.19%, 对比基线取得了最多4.65百分点的提升。

来源：2026年第1期

《计算机工程》期刊编辑部

查看计算机工程杂志2026年第1期