计算机工程

作者：蔡瑞初, 林峰极, 郝志峰, 王立, 温雯

单位：1. 广东工业大学 计算机学院, 广州 510006;2. 佛山科学技术学院 数学与大数据学院, 广东 佛山 528000;3. 依图网络科技有限公司 新加坡研发部, 新加坡 018960

关键词：轨迹流数据,数据分区,存储,多级索引,Bloom过滤器

基金：国家自然科学基金（61100148，61876043）；国家自然科学基金-广东省联合基金（U1501254）；广东省自然科学基金（2014A030306004，2014A030308008）；广东省特支计划（2015TQ01X140）；广州市科技计划（201902010058）；广州市珠江科技新星专项（201610010101）。

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长，要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询，而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性，提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区，将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力，同时对数据进行压缩存储提升索引效率。在此基础上，采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明，与传统HBase、WaterWheel等方法相比，该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。

来源：2021年第3期

《计算机工程》期刊编辑部

查看计算机工程杂志2021年第3期