计算机工程

作者：张伟,王志杰

单位：1.上海交通大学 计算机科学与工程系,上海 200240; 2.中山大学 数据科学与计算机学院,广州 510006

关键词：时态大数据, 分布式内存计算, 时态连接, 二级索引, 分区方法, Spark框架

基金：国家自然科学基金(U1636210,61729202);广东省科技计划项目(2015A030401057,2016B030307002)。

目前处理时态大数据连接操作多数运用分布式系统,但现有的分布式系统尚不能支持原生的时态连接查询,无法满足时态大数据低延迟和高吞吐量的处理需求。为此,提出一个基于Spark的二级索引内存解决方案。运用全局索引进行分布式分区的剪枝,使用局部时态索引进行分区内查询,提高数据检索效率。针对时态数据设计分区方法,以对全局剪枝进行优化。基于真实和合成数据集的实验结果表明,与基准方案相比,该方案可明显提高时态连接操作的处理效率。

来源：2019年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2019年第3期