千亿级智能交通大数据存储与检索系统的研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:PeterWang9898
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着中国城市化规模的逐步扩大以及城市居民收入的不断增加,私家车数量也在不断的增加,伴随着也带来了一系列的交通问题。为了便于城市交通的管理,智能交通系统应运而生,其通过引入现代化技术并结合各城市的具体需求,实现对交通信息的实时收集和处理,了解当前的交通环境并作出相应的调控。这对于保障城市交通高效运行和可持续发展具有重要的意义。数据存储与检索是智能交通系统的核心之一。在实际公安局点应用中,道路监控每天会产生海量的数据,仅浙江省一天产生的过车数据便有几亿,并且数据到达具有随机性。传统的关系型数据库由于其严格的表结构约束,无法实现海量数据的存取操作。并且当一张数据表的数据量达到一定级别时,索引本身就过于巨大。因此数据库的检索功能根本无法满足数据检索的需求,并且极易造成系统的瘫痪。本文对以上问题进行深入研究,设计了千亿级智能交通大数据存储与检索系统。系统采用分布式集群方案,以分布式框架Hadoop为基础将系统集群设计为主从架构。集群使用Zookeeper进行一致性管理,使用Yarn进行资源管理和分配。为保证系统集群的稳定性,通过虚拟IP和Zookeeper实现了负载均衡和高可用性机制,用于处理高并发连接和单点故障问题,并保证对外地址的一致性。针对海量数据存储和检索这个难点,引入搜索引擎Solr和非关系型数据库HBase实现数据存储和检索方案。针对高并发数据容易引起Solr不稳定,设计了Kafka和Spark Streaming高并发实时数据缓存和消费策略。针对海量数据检索延迟高,设计了自称为Solr分Core算法和时间紧缩算法,实现了千亿数据秒级检索,并设计了翻页缓存功能提升客户端翻页体验。最后,本文对系统进行测试,测试结果表明系统工作稳定,能高效存储海量多种类型数据。当数据库中存储一千亿条过车记录时,对此TB级别数据进行各种条件的检索均能在1s内响应。
其他文献
"省管县"改革、大部制改革、行政执法体制改革、乡镇体制改革是目前我国地方行政体制改革的主要形式。各地推行的行政体制改革缺乏统一目标和部署,改革未纳入法治轨道,改革措
直流分布式供电系统由多个子系统组合而成,子系统之间的相互作用容易导致系统稳定程度和动态性能降低,甚至于不稳定。通常,恒功率负载具有的负阻抗输入特性是导致级联系统不稳定
随着社会经济的发展,人们的生活已不再满足于吃饱、穿暖的基本要求,更多则是关注饮食安全。对于饮食来说,如何在吃得健康是大家高度重视的问题,也是一个社会问题。作为国家重
<正>《铸剑》的故事情节看似简单明了,意蕴却十分深厚,内含鲁迅先生彼时之遭遇、心境与哲思,风格奇异、瑰丽,部分语句难以索解,而文中"黑色人"之言行举止更是恢诡奇特、猝起
【正】喜剧走向悲剧有时仅仅一步之遥,背离了生活的准则而一意孤行,生活反馈给他的将永远是灾难.
<正> 通常葡萄糖从母液中结晶析出是比較困难的,因为它在溶液中能保持一定的飽和度。如果濃度不高或不够純凈时,結晶时間更长,甚至无結晶生成,同时若冷却太快,則难以使葡萄糖
国际贸易对我国经济发展有着重要影响,港口物流作为国际贸易的主要运输方式,在城市经济发展中发挥出重大作用。在宁波—舟山港一体化和舟山自贸区成立等大背景下舟山应该充分
高校辅导员大多与在校大学生年龄相仿,学习与生活场域接近,被誉为大学生身心成长与政治成熟的"第一导师"。辅导员的媒介素养将直接对大学生产生影响。辅导员的媒介使用习惯符合
针对反辐射导弹对地面雷达目标的毁伤概率进行了研究,根据目标易损性.给出了炸点定位、破片毁伤目标、超压毁伤目标、坐标杀伤等计算模型,并由此建立了反辐射导弹对目标的单发毁
以高浓度含磷废水处理作为研究对象,探讨钙法化学混凝处理高浓度含磷废水技术及相关问题。首先结合环保与节能理念发展的情况对其进行了简要概述;主要对含磷废水的现状进行了说