大规模轨迹数据处理系统研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:lsssml1990
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着GPS、手机等定位设备的发展,位置信息的获取变得越来越容易。移动电话、出租车、公交车等每天都会产生大量的轨迹数据。这些轨迹数据具有数据量大、维度高的特点,且隐藏着大量可以被挖掘的信息。很多科技公司如国外的Uber、国内的滴滴出行、高德等都会利用这些轨迹数据提供基于位置的服务,比如道路推荐、路线规划等等。大规模的轨迹数据与轨迹数据应用之间需要一个沟通的桥梁,这个桥梁就是轨迹数据处理系统,也是本文要做的工作。首先,对于海量的轨迹数据,本文设计了轨迹数据处理系统,该系统能够满足轨迹数据的收集、处理与存储的功能需求,且具有拓展性好、可靠性高、实时性强的特点。系统整体可以分为三个模块,即轨迹数据的收集模块、轨迹数据的处理模块和轨迹数据的存储模块。存储模块由于数据库HBase的分区问题导致了轨迹数据写入性能的下降,针对这种情况,本文提出了预分区策略,并结合轨迹数据的分布特点和轨迹数据的时间属性合理设置了分区的粒度和分区的大小。实验部分验证了预分区方法对存储模块性能的提高。其次,本文针对轨迹数据处理中常用的两种查询,精确查询和时空范围查询在存储模块进行了实现。通常的数据存储模块都带有查询功能,但面对大规模的轨迹数据,在分布式环境下如何保证系统的可靠性与高效性以及查询的效率是一个挑战。对于轨迹数据的精确查询,结合GeoHash算法优化行键来实现。对于轨迹数据的时空查询,本文通过构建多级索引来实现。最后,本文在轨迹数据处理系统上对存储模块的预分区策略、轨迹数据的精确查询、时空查询进行了大量对比实验。实验结果表明,本文提出的大规模轨迹数据处理系统能高效地实现轨迹数据的采集、处理和存储。针对存储模块提出的预分区策略在轨迹数据插入过程能明显提升插入的速度。同时存储模块能够实现轨迹数据的精确查询和时空查询,多级索引结构也在时空检索方面展现了良好的性能。
其他文献
介绍了电器设备中噪声的种类及产生的机理,以抗干扰的三要素为出发点,简述了抑制噪声源,消除噪声耦合和在接收电路中抑制噪声的方法。
近些年,信息技术飞速发展,短视频也随之出现并且得以高速发展。短视频新闻传播已经成为现阶段人们日常生活中一种具有较高冲击力以及依赖性的传播方式。随着5G时代的到来,人
优秀的企业应该具备卓越的执行力和高效的管理体系,本文论述了企业的战略管理和企业控制系统的关系,并就企业如何优化自身的执行系统提出了意见。
文章在已有的计算分析方法上,通过类比强夯法,从能量转化的角度,提出了计算冲击碾压能量和评价有效加固深度的理论公式。通过分析文献中的工程实例,采用文章提出的理论公式计
1933年发生的"九小岛事件"揭开了南海争端的序幕。在争端发生后,法国为争取美国的支持,立即就南海局势与美国进行商讨,但美国并未进行任何形式的表态;对于菲律宾政要所提出的占
目的:探讨使用心律平治疗顽固性室上性心动过速的临床效果。方法:将2017年1月至2018年10月在广汉市人民医院进行治疗的76例顽固性室上性心动过速患者作为研究对象,并将其随机
为探讨毕赤酵母对酸粥风味品质的影响,该研究将酵母菌与乳酸菌进行复配发酵制备酸粥样品,同时使用乳酸菌单一菌株发酵作为对照。采用电子鼻结合气相色谱-质谱联用技术对酸粥
刘森是我国宏观经济政策研究专家,现任中国政策科学研究会第二研究部主任、中国管理科学研究院全球智库战略研究所专家委员会成员。谈起当前热门的乡村振兴话题,刘森认为,就“三
报纸
科举对历史上的政治制度和社会治理起了巨大作用。科举的废止,造成清末社会人心动荡,城乡分割日重一日,政局遂变得混沌脱序。废科举所带来的社会震荡,说明对重大的社会和教育
目前我国合宪性审查工作已经得到了一定程度的推进,但相关配套制度尚未建立。究其原因,顶层制度的设计是一项非常复杂的系统工程,难以一蹴而就。为此,从地方角度入手,亟须厘