面向实时交通流数据的HBase辅助索引技术研究和实现

来源 :北方工业大学 | 被引量 : 2次 | 上传用户:shen648491077
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着城市智能交通的快速发展、打车软件和共享单车的盛行,交通数据呈现出指数式增长。对交通数据进行合理的分析可以预测出人们的出行习惯和热门交通路线,为城市交通的管理提供帮助,也为相关互联网公司创造营收提供支持。HBase数据库对大规模数据的存储具有先天优势,在交通领域的应用非常广泛。但是HBase只能在行键上构建索引,无法直接构建高效的多维索引和非行键索引,在交通数据的时空查询上性能较差,并且无法实现快速的非行键查询。针对这些问题,需要为HBase构建相应的辅助索引。本文结合实时交通流数据的特点,经过大量的调研工作,对HBase时空索引和二级索引两种辅助索引技术进行了研究和设计,实现了一个基于HBase辅助索引的查询系统。主要研究内容如下:一、针对交通数据的时空三维特征,提升HBase对交通数据的时空查询性能,本文通过Geohash降维的思想研究和设计了三种基于HBase的时空索引,并对其优缺点和适用的场景作了分析。二、针对HBase非行键查询性能低下的问题,提高HBase对交通数据查询支持的灵活度,本文通过倒排索引的思想研究和设计了两种HBase二级索引,并作了相关分析。三、实现了一个基于HBase辅助索引的查询系统。该系统实现了本文设计的两种辅助索引中各自最优的方案,还实现了 SQL解析、索引构建、索引匹配、索引管理等功能,简化了用户对HBase数据库的查询操作。四、最后通过实验验证了本文提出的索引方案能有效提升实时交通流数据的查询性能,并且验证了索引管理的有效性。
其他文献
进入新世纪以来,在我国社会主义现代化建设和社会全面发展方面,我党提出了不少新思想、新理念,其中最具指导性的便是科学发展观和构建社会主义和谐社会。科学发展观、构建社会主
钓鱼岛问题实质是领土(海)争端问题,国际法解决领土争端的四种现有模式:分割、共管、南极和斯瓦尔巴德模式,虽然它们不能完全适用于钓鱼岛,但其中的一些合理因素值得借鉴。
泵站作为耗能大户,提高其运行水力性能具有重要现实意义。本文研究以南水北调东线工程泵站建设和大型泵站更新改造为背景,运用三维紊流模拟技术辅依实验等研究手段,基于大型
预算调整是预算管理的重要组成部分,当企业的预算编制基础发生重大变化时,进行预算调整将会给企业整体的经济效益产生巨大影响,对预算调整进行深层次的分析意义重大。预算调
<正>当前,加强党风廉政建设在不断深入,反腐败力度在不断加大,得到了广大人民群众的支持。在新的形式下抓好电力企业干部廉政教育,提高电力干部廉政意识,强化党风廉政建设,保
文章介绍了共用支架的特点,分析了应用共用支架的费用来源,阐述了共用支架的应用流程,总结了共用支架的优点。
西方企业的发展使职业经理人成为一个日益引人注目的群体,因为是他们创造了一个又一个经济奇迹。在中国,随着改革的不断深入,职业经理人作做为国民经济发展第一线主体的重要
随着全球市场和全球制造的形成,我国内燃机工业自主创新开发能力差、技术水平低下的现状正面临强有力的竞争和严峻挑战。中国内燃机向更高排量发展时,必然会碰到振动问题,也
本文首先回顾了地下水数值模拟及地下水管理模型的研究现状及发展历史,阐明了我国地下水模拟模型及管理模型中存在的问题和不足,展望了地下水模拟模型与管理模型的发展趋势。
空冷器是用来冷却天然气、原稳脱出气等介质的换热设备。开展空冷器加湿工作,能够降低冷却空气的温度,从而避免了环境温度对空气冷却环节中天然气温度的影响,使夏季空冷器出