计算机工程

作者：丁帅, 况立群, 曹亚明, 韩慧妍, 熊风光

单位：1. 中北大学计算机科学与技术学院，山西 太原 0300512. 机器视觉与虚拟现实山西省重点实验室，山西 太原 0300513. 山西省视觉信息处理及智能机器人工程研究中心，山西 太原 030051

关键词：人体骨架,行为识别,轻量级,图卷积,特征融合

基金：山西省科技重大专项计划"揭榜挂帅"项目(202201150401021); 山西省科技成果转化引导专项(202104021301055); 山西省自然科学基金(202303021211153); 山西省自然科学基金(202203021222027); 山西省研究生实践创新项目(2023SJ215)

传统基于RGB视频的人体行为识别方法在面对背景复杂、光照影响以及外貌变化时存在诸多挑战。相比之下, 利用人体骨架信息进行行为识别的方法受到的影响较小。然而, 目前主流的基于骨架的行为识别方法难以兼顾精度与复杂度。为了在保持高识别精度的同时解决模型参数量大、计算复杂度高的问题, 提出一种由3个新编码块组成的轻量化网络结构。首先, 在用于空间建模的自注意图卷积模块和用于时间建模的多尺度时间卷积模块中添加高效的多尺度注意力模块, 提高模型对时间和空间特征信息的识别和利用, 丰富骨架数据特征; 其次, 利用多特征融合自适应模块来增强特征融合与泛化能力; 最后, 使用迭代特征融合增强模块进一步加强对复杂特征关系的理解。实验结果表明, 在大规模数据集NTU-RGB+D60上, 所提方法在交叉主题评估(CS)和交叉视角评估(CV)下的准确率分别为91.1%和95.4%, 在数据集NTU-RGB+D120上, 该方法在CS和交叉设置评估(SS)下的准确率分别为87.3%和88.8%, 参数量为0.72×106, 浮点计算量为0.6×109。对比实验表明, 所提算法的参数量、浮点计算量以及识别精度均优于近年来的一些主流算法, 其有效地平衡了这些指标间的关系, 为人体行为的精确识别提供了轻量级网络模型。

来源：2025年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第11期