计算机工程

作者：蒋杰平, 王明文

单位：西南交通大学数学学院, 四川 成都 610000

关键词：深度学习,行为识别,时空置换注意力,残差网络,交叉熵函数

基金：国家自然科学基金(62106206)

为提升深度学习模型中三维卷积提取时空特征的有效性, 提出一种基于时空置换注意力(SAT)机制的残差行为识别模型。SAT机制是由通道结合时间和空间注意力子模块组成的轻量化的多维度混合注意力机制, 其在通道注意力中增加了结合时间的维度, 获取时间与通道信息; 在空间注意力中压缩冗余的时间信息, 提升对空间特征的关注度, 对提取的特征进行通道置乱及通道重组, 提升模型对数据的表征能力并减少参数量。该模型使用Resnext残差网络提取时空特征, 在残差模块中嵌入SAT模块, 利用注意力模块自主学习不同特征图的权重参数, 针对性地对提取的特征在通道、时间、空间域加权, 增强网络对人体行为的表达能力, 使用改进的交叉熵函数Focal Loss作为损失函数, 解决数据集中可能存在的样本分布不均衡的问题。实验结果表明, 该模型在UCF101以及HMDB51数据集上的识别准确率分别达到了96.3%以及71.6%, 相较于其他对比模型均有显著提升。

来源：2025年第4期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第4期