计算机工程

作者：王谟瀚, 翟俊海, 齐家兴

单位：河北大学 a. 数学与信息科学学院;b. 河北省机器学习与计算智能重点实验室, 河北 保定 071002

关键词：MapReduce平台,Spark平台,模糊K-近邻,样例选择,动态机制

基金：国家自然科学基金（71371063）；河北省自然科学基金（F2017201026）；河北省科技计划重点研发基金（19210310D）；河北大学研究生创新项目基金（hbu2019ss077）。

压缩模糊K-近邻（CFKNN）算法仅适用于中小数据环境，且其样例选择采用静态机制，导致算法不能对阈值进行动态调整从而选出最优样例。为此，对CFKNN算法进行改进，将其扩展到大规模数据环境，提出分别基于MapReduce和Spark的2种大规模压缩模糊K-近邻算法。在样例选择阈值设置方面，引入动态机制，使得所选样例更具代表性。在具有7个数据节点的大数据平台上进行实验，结果表明，与CFKNN算法相比，所提2种算法具有更高的分类精度和加速比。2个平台相比，MapReduce产生的中间文件数目多于Spark，而Spark在运行时间和同步次数上优于MapReduce。

来源：2020年第11期

《计算机工程》期刊编辑部

查看计算机工程杂志2020年第11期