论文部分内容阅读
时空数据具有空间性和时间性的特征,详细记录了事物的空间属性和随时间序列而改变的信息。在不断发展的信息化时代中,时空数据的应用变得更加广泛。从智慧城市监控器中捕获的图像数据,到各地方随时间变化的天气状态信息,再到应用程序所产生的日志信息,这些都是属于时空数据。而随着时空数据的广泛应用,如何对这些数据进行高效的存储和查询,成为了一个值得研究的课题。不同于传统的数据类型,时空数据具有空间性和时间性的特征。时空数据往往是随时间序列增长而产生,后期上层应用可能会对时空数据进行数据挖掘和智能分析,从而获取有用的信息。时空数据具有以下几个特点:存在一个空间属性,表明了数据的生成者;数据的产生具有时序性,往往是连续地写入系统;上层应用对时空数据的查询一般是大批量的;数据不存在修改,它表明了事物在某个空间和时间的真实性。因此,如何实现一个高效的面向时空数据的存储系统是本文需要研究的课题。本文设计并实现了一个基于时空数据的分布式存储系统,并详细地阐述了系统所涉及的理论基础、设计思路、实现方案以及测试分析。本文的主要完成的工作如下:(1)本文对分布式存储系统的相关理论技术进行了深入地研究;选取中心节点的方式,设计了一个分布式存储系统的节点布局架构;中心节点采用一主多从的集群方式提供服务,以解决中心节点的单点故障问题;系统架构支持节点的动态变更。(2)通过对时空数据的特性进行详细分析,本文根据时空数据的空间性和时序性特点,以LSM-Tree作为参考基础,提出了一种面向时空数据的高效的存储策略。针对磁盘顺序存取的高效性,系统以数据块文件的方式进行数据持久化,并为数据块建立了分布式索引,提高数据检索效率;系统基于数据范围分片算法对时空数据进行分片,提高数据查询效率和系统的容灾性。(3)本文对实现的分布式存储系统进行了详细的功能测试以及性能测试,测试项目包括了节点变更,数据存储和数据查询等情况,并对测试结果进行了详细的分析。