计算机工程

作者：李晶, 李健, 陈海丰, 张倩, 王丽燕, 裴二成

单位：1. 陕西科技大学电子信息与人工智能学院, 陕西 西安 710021;2. 陕西科技大学文理学院, 陕西 西安 710021;3. 西安邮电大学计算机学院, 陕西 西安 710100

关键词：人脸表情识别,多尺度关键区域特征,注意力机制,自监督学习,遮挡与重建

基金：国家自然科学基金(62306172);国家土建结构预制装配化工程技术研究中心沈祖炎专项基金(2019CPCCE-K02);陕西省自然科学基础研究计划项目(2022JQ-662);2021年陕西科技大学教育信息化教学改革研究项目(JXJG2021-09);陕西科技大学博士科研启动基金(126022325)。

为了解决自然场景下人脸表情识别任务中的无用信息干扰和遮挡对识别性能的影响问题,提出一种基于关键区域遮挡与重建的人脸表情识别模型。利用多尺度特征提取网络,提取人脸图像的全局特征。根据68个人脸关键点划分出68个关键区域,并通过插值法提取68个关键区域的特征,同时采用注意力机制学习关键区域特征之间的先验关系。设计自监督的遮挡与重建模块,对关键区域特征进行随机遮挡,并利用已知区域信息来预测和重建被遮挡区域的特征,从而提高模型在自然场景下的表情识别性能。设计多个实验验证了该模型的泛化能力,并通过消融实验验证了模型中每个模块的有效性。实验结果表明,该模型在真实世界的情感面孔数据集(RAF-DB)和Occlusion-RAF-DB数据集上分别达到了88.44%和86.09%的识别准确率,相比于视觉Transformer(ViT)等模型有效地提升了自然场景下人脸表情识别的性能。

来源：2024年第5期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第5期