计算机工程

作者：李晓腾, 张盼盼, 勾智楠, 高凯

单位：1. 河北科技大学 信息科学与工程学院, 石家庄 050018;2. 河北经贸大学 信息技术学院, 石家庄 050061

关键词：命名实体识别,多任务学习,多模态信息,对比学习,聚类

基金：河北省自然科学基金面上项目（F2022208006）；河北省高等学校科学技术研究项目（QN2020198）。

针对传统多模态命名实体识别方法无法有效融合图文模态信息且不能区分易混淆实体等问题，提出一种基于多任务学习的多模态命名实体识别方法，通过对比融合辅助任务促进图文模态信息的融合，通过实体聚类辅助任务提升模型对易混淆实体的判断能力。利用BERT预训练语言模型和ResNet模型分别对原始文本和图片进行特征映射获得相应的特征向量，并利用跨模态Transformer结构融合图文模态信息。在多模态命名实体识别任务基础上，增加对比融合辅助任务促进图文模态信息融合，增加实体聚类辅助任务学习实体类别之间的差异，提升模型对易混淆实体的区分能力。最后，利用条件随机场层学习上下文转移概率，并输出最优预测结果。实验结果显示，在国际公开数据集Twitter-2017上，所提方法相较于基线方法取得了更高的准确率、召回率和F1值，其中F1值可达85.59%，表明对比融合辅助任务和实体聚类辅助任务能够促进模型对实体的识别效果。

来源：2023年第4期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第4期