计算机工程

作者：张树涛, 谭海波, 陈良锋, 吕波

单位：1. 中国科学院合肥物质科学研究院, 合肥 230039;2. 中国科学技术大学 研究生院, 合肥 230039

关键词：分布式爬虫,负载均衡,预测模型,粒子群优化算法,约束条件

基金：安徽省科技重大专项"基于大数据的中小微企业精准智力服务平台"（711245801052）。

传统分布式爬虫系统负载均衡方法仅考虑少量的负载影响因素，未对各爬虫节点负载情况进行全面有效的评估，使得任务量的分配不合理。针对该问题，提出一种面向分布式爬虫系统的高效负载均衡策略。分析影响爬虫节点运行时间的因素，采用BP神经网络构建基于多影响因素的非线性分布式爬虫节点运行时间模型。以该模型预测的各子节点运行时间的最小方差为负载均衡策略的目标函数，并利用带约束条件的改进粒子群优化算法求解目标函数，确定负载均衡的任务分配方案。实验结果表明，该负载均衡策略在满足爬虫节点高性能要求的前提下，能有效缩短分布式爬虫系统的运行时间。

来源：2019年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2019年第11期