大规模时空图数据存储和分析的优化方法

丁梦苏* **; 杨慕乔***; 陈世敏* **

文章摘要

丁梦苏* **,杨慕乔***,陈世敏* **.大规模时空图数据存储和分析的优化方法[J].高技术通讯(中文),2023,33(2):124~134

大规模时空图数据存储和分析的优化方法

Optimizing large-scale spatio-temporal graph data storage and analysis

DOI：10. 3772/ j. issn. 1002-0470. 2023. 02. 002

中文关键词: 时空图存储；时空图查询；大数据存储；大数据分析

英文关键词: spatio-temporal graph storage, spatio-temporal graph query, big data storage, big data analysis

基金项目:

作者	单位
丁梦苏* **	(中国科学院计算技术研究所北京 100190) (中国科学院大学计算机科学与技术学院北京 100190) (**College of Electrical and Computer Engineering, Carnegie Mellon University, Pittsburgh 15213)
杨慕乔***	(中国科学院计算技术研究所北京 100190) (中国科学院大学计算机科学与技术学院北京 100190) (**College of Electrical and Computer Engineering, Carnegie Mellon University, Pittsburgh 15213)
陈世敏* **	(中国科学院计算技术研究所北京 100190) (中国科学院大学计算机科学与技术学院北京 100190) (**College of Electrical and Computer Engineering, Carnegie Mellon University, Pittsburgh 15213)

摘要点击次数: 688

全文下载次数: 534

中文摘要:

时空图数据在数据量和数据更新速率两方面具有独特的特征，可以用来优化存储和查询分析。然而，现有的成熟的大数据存储和分析系统提供统一化的支持，没有考虑结合数据特征和查询特征做针对性的优化，因而无法很好地应对大规模数据的挑战，存储和分析能力都有待加强。本文利用时空图数据的数据特征，提出了针对不同类型的顶点和边的差异化存储方案；利用时空图数据的查询特征，提出了差异化的存储布局和基于此的查询执行优化方案。实验结果表明，和现有方案相比，本研究提出的优化方法能减少1.7~5.4倍的存储空间，查询性能可以提高1~4个数量级。

英文摘要:

Spatio-temporal graph data analysis has huge political, social and economic value. Spatio-temporal graph data has unique characteristics in terms of data volume and data velocity, those characteristics can be used to optimize big data storage and analysis. However, existing solutions provide general support, and do not consider combining data characteristics and query characteristics to make optimizations. This paper analyzes the requirement of big data system for processing spatio-temporal graph data, and proposes efficient solutions to deal with the challenges of data volume, data velocity and query processing. The experimental results show that compared with the existing solutions, this study can reduce the storage space by 1.7×-5.4×, and the query performance can be improved by 1-4 orders of magnitude.

查看全文查看/发表评论下载PDF阅读器

关闭