计算机工程

作者：雷李想, 武志昊, 刘钰, 周子站

单位：1. 北京交通大学 计算机与信息技术学院, 北京 100044;2. 北京交通大学 网络科学与智能系统研究所, 北京 100044;3. 中国民航信息网络股份有限公司, 北京 101318;4. 民航旅客服务智能化应用技术重点实验室, 北京 101318

关键词：点击率预估,稀疏特征,特征嵌入,特征相似性,图神经网络

基金：国家自然科学基金（61603028）；中国民航信息网络股份有限公司和民航旅客服务智能化应用技术重点实验室基金项目（K20L00070）。

基于深度学习的点击率预估模型多数通过建模各个域的特征之间的交互关系提升预估准确率。特征嵌入向量对模型效果具有重要影响，而现有的CTR模型中不同特征的嵌入向量学习过程相互独立，且由于特征长尾分布导致大部分低频特征不能学习到较好的向量表示，严重影响模型的预测效果。基于域内特征间存在隐含的相似性，提出两种分别基于特征间共现概率和游走概率的相似度定义和对应的相似性图构建方法，并给出结合剪枝策略的广度优先遍历算法实现相似特征的高效计算。在此基础上，基于域内特征相似性图，设计一种嵌入生成器，对于低频特征，在域内特征相似性图上通过图神经网络聚合与其相似的特征信息，生成新的特征嵌入，作为预处理过程对特征嵌入向量进行数据增强，提升嵌入向量的表示学习质量。在公开数据集Criteo、Avazu上的实验结果表明，该方法明显提升点击率预估模型的预测准确率，其中对代表性点击率预估模型xDeepFM和AutoInt，AUC指标分别提升了0.007和0.008，LogLoss则下降了0.009和0.006，证明了嵌入生成模型的有效性。

来源：2023年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第2期