计算机工程

作者：刘子健, 王勇, 刘媛妮, 周由胜

单位：1. 重庆邮电大学 计算机科学与技术学院, 重庆 4000652. 大唐微电子技术有限公司, 北京 1000943. 重庆邮电大学 网络空间安全与信息法学院, 重庆 400065

关键词：文本流聚类,短文本流,情节记忆,主题演化,文本特征

基金：国家自然科学基金(62272076); 重庆市自然科学基金面上项目(cstc2020jcyj-msxmX0343); 重庆市自然科学基金面上项目(cstc2020jcyj-msxmX1021); 重庆市教委科学技术研究项目(KJZD-K20200602)

现有基于相似度的短文本流聚类算法多数需要手动设置相似度阈值，且难以处理文本稀疏性问题。针对短文本流的特点和传统流聚类算法的局限性，提出基于情节记忆的短文本流聚类算法。将情节记忆思想融入流聚类算法，通过稀疏经验重放增强聚类的特征表示，并使用反向索引提高聚类效率。在线阶段通过新的相似度计算公式以及动态计算相似度阈值，将当前文本分配到现有集群或新集群，并且不断更新聚类特征。离线阶段通过聚类增强、语义再分配以及删除过时聚类，提高整体算法性能。基于公开和合成数据集的实验结果表明，相较于基准流聚类算法，所提算法在各项评价指标上均取得了较好的实验结果，并且对于文本数量较大的数据集，运行时间能减少1~3个数量级。

来源：2023年第10期

《计算机工程》期刊编辑部

查看计算机工程杂志2023年第10期