计算机工程

作者：周世向, 于凯

单位：1. 新疆大学计算机科学与技术学院, 新疆 乌鲁木齐 8300172. 新疆财经大学公共管理学院, 新疆 乌鲁木齐 830012

关键词：多模态,情感分析,模态交互,密集协同注意力,特征融合

基金：新疆维吾尔自治区社会科学基金(21BTQ162); 新疆维吾尔自治区重点研发计划项目(2023B01032)

随着社交网络的发展, 人们越来越多地通过语音、文本、视频等多模态数据表达情感。针对传统情感分析方法无法有效处理短视频内容中的情绪表达, 以及现有的多模态情感分析技术存在的诸如准确率较低和模态间交互性不足等问题, 提出一种基于密集协同注意力的多模态情感分析方法(DCA-MSA)。首先利用预训练BERT(Bidirectional Encoder Representations from Transformers)模型、OpenFace 2.0模型、COVAREP工具分别提取文本、视频和音频特征, 然后使用双向长短期记忆网络(BiLSTM)分别对不同特征内部的时序相关性进行建模, 最后通过密集协同注意力机制对不同特征进行融合。实验结果表明, 与一些基线模型相比, 所提出的模型在多模态情感分析任务中具有一定的竞争力: 在CMU-MOSEI数据集上, 二分类准确率最高提升3.7百分点, F1值最高提升3.1百分点; 在CH-SIMS数据集上, 二分类准确率最高提升4.1百分点, 三分类准确率最高提升2.8百分点, F1值最高提升3.9百分点。

来源：2025年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2025年第11期