基于云平台的高速公路交通数据仓库设计与查询优化研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:aspoptyy4
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网技术的发展,智能化传感器的增多,交通行业收集到的数据急速增长。特别是在高速公路收费系统中,每天都会产生海量的高速公路收费站数据。通过分析这些结构化的数据,可以得到高速公路车流量、载运量时空分布、高速公路运输景气指数、收费报表同比环比等非常有价值的信息,为高速公路管理人员的正确决策提供数据支持。当前,大多数交通部门所使用的管理系统都是使用Oracle驱动的数据库。面对数据体量愈发庞大的高速公路收费站数据,这些管理系统已经出现数据整合过程复杂、时间久、依赖专业人员、数据查询速度慢等问题。因此,本文研究基于云平台的高速公路交通数据仓库设计与查询优化技术。首先,本文针对高速公路收费站数据特点,设计一种面向海量高速公路收费站数据的数据仓库,其构建过程包括数据抽取、数据预处理和数据加工等三个核心操作阶段。其次,本文通过比较Hive和Impala的查询特点,分析数据仓库的分区粒度和高速公路管理的业务特点,提出了三种数据仓库查询优化方法。然后,本文基于分布式文件存储系统HDFS、数据仓库工具Hive和数据查询引擎Impala实现数据仓库构建,设计并实现了面向高速公路管理的数据可视化平台,提供数据查询及专题分析等功能。最后,本文使用实际的高速公路收费站数据验证数据仓库的功能和性能,结果表明本文提出的数据查询优化方法能够有效提高数据查询效率,缩短查询时间。
其他文献
用l-能级分裂的屏蔽氢离子模型计算了Mo、Ag、Nb、Lu、Hf、Au离子3d电子组态的能量.并对此模型的计算结果与MCDF模型、HFR模型的计算结果进行了比较.
利用基团的诱导效应指数, 首次提出了分子诱导效应指数的概念, 并定义了链烷烃的有效碳链长度. 研究结果表明有效碳链长度与链烷烃的燃烧热、密度存在相关关系.
本报讯(记者 武孝军)4月14日下午,市委副书记、市长周海兵会见了来衡阳考察的香港瀚德集团有限公司主席钟瀚德先生。双方就瀚德集团在衡阳投资建设年产1万吨高纯氧化钒项目进行
报纸
由中国现代文学研究会、中国当代文学研究会、《文学评论》编辑部、《中国现代文学研究丛刊》编辑部及我校文学院联合主办的中国现当代文学前沿问题学术研讨会于2005年4月9—
Susan Glaspell is best known as author of Trifles,which is recognized as an example of early feminist drama.Trifles probes into the conflicts between men and wo
高校科技企业改革是高等教育改革的重要组成部分。高校科技企业应加快建立现代产权制度,实现学校资本的自由进退;要产学研良性互动,使学校产业始终保持用先进技术主导市场的主体地位;要坚持制度创新,加强管理,提高企业的核心竞争力。
通过分析国网重庆市电力公司武隆县供电分公司低压台区线损精细化管理现状,总结了造成台区线损统计异常的主要因素,并提出相应的整改对策,以期为其他供电公司提供参考。
The ability to use language may be one of the most important features that makes human beings as human, so language acquisition draws much attention from lingui
美国黑人女作家莫里森的处女作《最蓝的眼睛》从黑人自身的生活角度出发,真实地揭示和反思种族主义,展示了在白人主流文化中的一个自卑自恶的群体。通过呈现一些美国黑人的自
大学生自杀现象日益严重,其成因既有社会因素,也有本人心理及思想因素。构建大学生自杀危机干预防护体系,包括构建大学生心理危机的自救体系、求救体系;干预防护组织网络和人员;与其他机构协调和应急机制建立。