计算机工程

作者：刘群坡, 盛月琴, 高如新, 卜旭辉

单位：1. 河南理工大学 电气工程与自动化学院, 河南 焦作 4540032. 河南省智能装备直驱技术与控制国际联合实验室, 河南 焦作 454003

关键词：手语识别,关键帧,残差网络,空间注意力,通道注意力

基金：国家自然科学基金(62273133); 河南省高校科技创新团队项目(20IRTSTHN019); 河南省科技攻关项目(212102210508)

手语识别研究对于改善聋哑人生活质量具有重要意义，同时可促进人机交互领域的发展。针对手语视频中存在大量的无关帧、手语识别过程中手部细节信息提取不足、难以精确定位手语动作的位置和时间信息导致识别率不高等问题，提出一种基于关键帧和交互式注意力残差网络的手语识别方法。在数据预处理部分，设计基于图像相似度和模糊程度的关键帧提取算法，从基于Farneback光流法获取的大量候选关键帧中确定最终的关键帧，减少无关冗余信息。在网络部分，以3D-ResNet为基础框架，构建小卷积模块增强网络对手语视频中细粒度特征的提取能力，设计在捷径分支中采用池化卷积下采样方式的残差结构减小特征图失真程度，建立融合通道注意力和空间注意力的交互式四重注意力模块强化对目标区域关键特征的提取。实验结果表明，该方法在CSL和DEVISIGN数据集上取得了92.0%和92.2%的准确率，优于其他手语识别方法。

来源：2023年第12期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第12期