计算机工程

作者：高军,黄献策

单位：上海海事大学 信息工程学院,上海 201306

关键词：分布式计算, TF-IDF算法, 日志, 兴趣模型, 信息检索

基金：国家自然科学基金(41701523);上海海事大学研究生创新基金(YXR2017032)

传统TF-IDF算法仅从词频与逆向文档频率的角度计算关键词与文档之间的相关性权重,忽略了用户兴趣对权重计算的影响。为此,以满足用户信息检索目的为研究背景,提出一种基于日志关联的相关性权重算法。从面向用户相关性的角度出发,通过分析用户的搜索日志建立用户兴趣模型,并结合分布式计算的思想,运用MapReduce编程框架实现计算任务的并行化处理。实验结果表明,该算法在处理海量数据时,不仅能够提高算法效率,而且可以根据用户的历史检索记录动态地改变检索词的权重,提升用户与系统的交互能力。

来源：2019年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2019年第3期