计算机工程

作者：吴志强, 解庆, 李琳, 刘永坚

单位：1. 武汉理工大学计算机与人工智能学院, 湖北 武汉 4300702. 数字出版智能服务技术教育部工程研究中心, 湖北 武汉 4300703. 武汉理工大学重庆研究院, 重庆 401135

关键词：多模态推荐,多模态融合,注意力机制,图神经网络,推荐系统,门控图神经网络

基金：国家自然科学基金(62276196); 重庆市自然科学基金(cstc2021jcyj-msxmX1013); 湖北省重点研发计划项目(2021BAA030)

已有的图神经网络(GNN)推荐算法大多利用用户-项目交互图的节点编号信息进行训练，学习用户-项目节点的高阶联系去丰富节点表示，但忽略了用户对不同模态信息的偏好，没有利用项目的图片、文本等模态信息，或对于不同模态特征的融合简单相加，不能区分用户对不同模态信息的偏好。针对上述问题，提出多模态融合的GNN推荐模型。首先针对单个模态，结合用户-项目交互二部图构建单模态图网络，在单模态图中学习用户对此模态信息的偏好；然后利用GAT聚合邻居信息，丰富本节点表示，同时根据门控循环单元决定是否聚合邻居信息，达到去噪效果；最后将各个模态图学习到的用户、项目表示通过注意力机制融合得到最终表示并送入预测模块。在MovieLens-20M、H&M两个数据集上的实验结果表明：多模态信息、注意力融合机制能有效提升推荐的准确度，算法模型在Precision@K、Recall@K和NDCG@K 3个指标上相较于基线最优算法均有显著提升；当评估指标K值选取10时，Precision@10、Recall@10和NDCG@10在两个数据集上分别提升了4.67%、2.42%、2.03%和2.49%、5.24%、2.05%。

来源：2024年第1期

《计算机工程》期刊编辑部

查看计算机工程杂志2024年第1期