论文部分内容阅读
道路网络(Road Networks)是人与机动车等移动对象日常活动的主要空间范围。移动定位技术、移动通讯技术、高性能计算与存储技术的飞速发展及移动终端的迅速普及,使得有效记录与分析这些海量移动对象在路网空间中的运行轨迹及其对象间动态变化的语义关系成为可能。现代城市中海量移动对象位置、轨迹及其相互间语义关系作为一种典型的时空“大数据”(Big Data),具有重要的研究价值,能够为基于位置的服务(Location-Based Services)、交通管理、城市规划、人口流动监测、公共安全保障、社会计算等提供珍贵的数据源。然而,移动对象位置与轨迹数据量超大,位置更新频繁、且可能同时附加大量的非结构化信息及高动态的非空间语义信息(如基于位置的社交网络用户之间的关系信息等),对传统的数据存储与管理技术提出了新的挑战。路网空间移动对象管理是移动对象数据库领域(Moving Object Database,MOD)的一个重要研究分支,也是业界关注的研究热点,旨在管理路网空间中的海量移动对象,并支持移动对象复杂时空查询。该研究领域虽经过多年发展,但仍处于起步阶段,远远落后于传统关系数据库的发展,距离位置服务等应用的要求还存在相当大的距离。同移动对象数据库的另一个研究分支自由空间移动对象管理技术相比,该领域研究成果也略显单薄与不足。 目前,路网空间移动对象管理在理论研究与技术实现方面都存在一些薄弱环节。在理论研究方面,路网空间下移动对象数据表达需要同时兼顾空间路网、移动对象轨迹及动态变化的非空间属性等三方面的信息,目前大部分时空数据模型均无法胜任这一任务。此外,由于路网空间下移动对象查询具有时间维与空间维两个维度,造成查询异常复杂,现有的结构化查询语言(SQL)也无法有效支持种类繁多的移动对象查询要求。与自由空间下移动对象索引相比,路网空间下的移动对象索引也存在很大的差异,主要原因在于路网空间下除了需要对移动对象的位置和轨迹进行索引,还需要对空间路网本身进行索引,必须引入组合索引机制。在技术实现方面,目前业界还缺乏有效的海量轨迹数据分析处理技术。传统的数据库分库分表、读写分离、缓存服务以及负载均衡等手段并不能够有效解决海量轨迹数据的处理问题。尤其是在海量数据环境下,传统的单机处理算法,如地图匹配算法、轨迹插值算法等,可用性均大打折扣,需要在分布式环境下重新设计相关的轨迹数据处理算法。此外,现有的传统数据库管理系统都没有充分利用计算机软硬件发展的新机遇,如大内存、高并发等,而且传统的数据库管理系统因为过于强调在事务控制方面的能力,而牺牲了数据处理的效率。海量移动对象轨迹数据管理需要弱化事务处理,支持高效的轨迹数据处理与数据挖掘,才能够有效发挥大数据的潜在价值。 针对目前路网空间移动对象管理技术存在的问题与不足,本论文立足于路网空间移动对象管理的已有的研究成果,依托关系数据库与移动对象数据库、分布式与集群计算、地理信息系统等领域相关技术,针对海量移动对象位置与轨迹数据管理面临的巨大挑战,开展路网空间移动对象管理的相关研究。本文主要研究工作与创新点包括: (1)针对移动对象位置、轨迹及其移动对象间可能存在的语义关系的一体化建模需求,提出了一种有效的路网空间移动对象数据模型——GSM,该模型可以实现空间路网、移动对象轨迹及移动对象之间语义关系的时空一体化建模。并构建了GSM模型数据类型及相关的操作集合,包括基本操作、空间操作、语义操作及轨迹操作等。给出了该模型在图数据库与传统关系数据库中两种不同的实现方式,通过真实的导航路网数据与出租车轨迹数据,实验验证了本模型的可行性与效率,实验结果表明图数据存储引擎在该模型的实现过程中更加高效。 (2)在所提出的路网空间移动对象数据模型基础上,提出了一种路网空间移动对象全时态混合索引结构——MGNEI。传统路网空间索引采用分层索引,上层索引路网路段信息,下层索引每一条路段都关联一个单独的索引结构,造成索引数目众多,索引森林问题严重。造成该问题的主要原因在于路网与移动对象分开建模索引,因此本文所提MGENI索引以GSM时空一体化模型为基础,实现路网与移动对象的无差别存储,可以有效避免了传统的路网空间移动对象分层索引普遍存在的索引森林问题。接着提出了该索引结构的批量装载、插入等更新算法。此外还提出了该索引结构的范围查询处理与时间窗口查询处理过程。 (3)在MGNEI索引结构基础上,发展了路网空间移动对象最邻近查询算法族,包括快照式KNN查询、动态KNN查询及连续KNN查询实现算法。该近邻查询算法族首先改进传统的查询扩张树结构,并利用改进后的查询扩张树结构维持最近邻结果集的变化,避免连续查询过程中近邻算法的多次执行,提高算法效率。最后利用真实数据,分析了不同近邻查询算法效率,实验结果表明,改进后的查询扩张树放宽了原有扩展树结构的限制,降低了扩张树维护成本,提高了算法的稳定性。 (4)针对海量移动对象轨迹数据处理的效率问题,基于云计算、NoSQL等相关技术,构建了一个分布式环境下海量移动对象处理分析平台TrajectoryCloud。并给出了高并发数据存储与管理方法,及基于MapReduce的处理分析算法,为海量移动对象数据处理提供了一个可靠的解决方案。