计算机工程

作者：刘景发,李新,蒋盛益

单位：1.南京信息工程大学 计算机与软件学院,南京 210044; 2.广东外语外贸大学 信息科学与技术学院,广州 510006

关键词：多目标优化,主题爬虫,网页空间进化算法,Pareto最优,暴雨灾害

基金：国家自然科学基金(61373016);国家社会科学基金重大招标项目(16ZDA047);江苏省自然科学基金(BK20171458,BK20181409)。

针对单目标优化算法求解爬虫问题时难以获得最优加权因子和易于陷入局部最优的缺点,将多目标优化算法引入主题爬虫,提出一种基于多目标优化的网页空间进化算法。通过计算测试链接与种子链接库中链接的最短距离,将其与种子链接库中所有链接间的平均距离进行比较来更新种子链接库。针对多目标优化中Pareto最优解的选取问题,给出一种最近最远候选解法。实验结果表明,与宽度优先搜索等算法相比,该算法具有较高的爬准率和稳定性。

来源：2019年第2期

《计算机工程》期刊编辑部

查看计算机工程杂志2019年第2期