计算机工程

作者：张添植, 周刚, 张爽, 陈静, 黄宁博, 吴皓

单位：1. 中国人民解放军战略支援部队信息工程大学数据与目标工程学院, 河南 郑州 4500012. 辽宁省交通高等专科学校信息工程系, 辽宁 沈阳 110122

关键词：多模态情感分类,目标实体情感分类,形容词-名词对,多模态大语言模型,门控机制

基金：河南省科技攻关项目(222102210081)

随着社交媒体在人们生活中的普及, 多模态情感分类(MSC)研究近年来受到了广泛的关注。多模态目标实体情感分类(TMSC)是MSC研究领域的一项重要任务, 旨在结合文本和图像等多种模态信息预测所指代实体的情感极性。尽管当前已有众多学者针对该任务提出了一系列的建模方法, 但是这些方法还无法做到文本和图像模态间实体的精准对齐, 从而直接影响了模型在目标任务上的准确性。为了解决这一问题, 提出针对图文模态间实体对齐的目标实体情感分类模型(ITMEA)。该模型采用从图像中所提取的形容词-名词对(ANPs)设计情感辅助信息, 使得图像中目标实体的关键情感信息获得更直观的表达, 同时也采用多模态大语言模型(LLM)LLaMA-Adapter V2设计了特征描述信息, 进一步实现模态间目标实体的精准对齐。此外, 模型在模态间特征融合阶段构建一种门控机制, 通过动态控制文本以外信息的输入防止与文本语义不相关的信息引入额外干扰。在Twitter基准数据集Twitter-2015和Twitter-2017上的实验结果表明, ITMEA模型相较于对比基线中的最优方法准确率分别提升了约1.00和0.57百分点, 验证了所提方法的有效性和优越性。

来源：2026年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2026年第3期