论文部分内容阅读
高速公路作为经济运输大动脉,承担的运输量与经济和社会需求同步增长。目前高速公路在建设管理、运营管理、养护管理及服务等方面也呈现出一些问题,如体制分散、缺乏统一协调,出现了“信息孤岛”、缺乏对交通信息的综合利用等。随着物联网、云计算、人工智能、自动控制、移动互联网等技术在交通领域中的充分运用,“智慧高速”也应运而生。智慧高速通过充分地“感知”高速公路,实现信息深度融合、数据分析和挖掘,采用准确的模型和控制系统,为管理者和出行者提供协同管理和智慧服务。但在智慧高速建设过程中,“感知”的数据具有种类繁多、数据量大、存储分散等特性,因此数据的有效存储、高效率的数据检索、数据的深度融合是目前智慧高速重点研究内容之一。本文以某区智慧高速为研究对象,结合当前该区智慧高速的建设情况及数据的特点,以Hadoop大数据平台为基础,对智慧高速数据中心海量异构数据处理的相关关键技术进行研究,主要有以下几方面的研究工作。(1)分析云计算和Hadoop相关技术,主要包含HDFS分布式文件、MapReduce分布式计算框架和HBase分布式数据库等技术。(2)在对该区智慧高速建设情况和数据特点分析基础上,构建了智慧高速海量异构数据处理总体架构,实现了海量异构数据处理流程。同时,根据用户的需求,确定了智慧高速海量异构数据处理的相关关键技术,包括数据迁移、数据存储、数据检索技术等。(3)实现了智慧高速海量异构数据关键技术中的数据存储、数据迁移、数据检索等的研究和方案设计。设计了数据存储结构、关系型数据表与HBase表的映射规则。提出了基于磁盘读写调度的结构化数据迁移和基于Apache VFS的非结构化数据迁移方案。设计了一种基于HBase二级索引的数据检索策略,结合数据缓存层,提高复杂条件的数据检索效率。(4)在智慧高速海量异构数据处理总体架构上,对智慧高速海量异构数据处理关键技术进行了实验验证。实验结果表明:基于磁盘读写调度器的结构化数据迁移与默认调度器相比,随着数据迁移量的增加,迁移效率明显提升;设计的非结构化数据迁移方案支持多线程并发操作,随着线程的增加,迁移速度越快;改进的数据检索方法的检索效率高于原始HBase的检索效率,同时利用数据缓存,检索效率大大高于直接从已经建立索引的HBase的检索效率。