基于Spark的交通监控目标大数据分析系统的设计与实现

来源 :北京邮电大学 | 被引量 : 4次 | 上传用户:fengye1023
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,大数据出现的频率越来越高,很多行业和领域在大数据相关技术的帮助下取得了突破性的进展。交通作为人类行为的重要组成和重要条件之一,对于大数据的感知也是最急迫的。每日在城市中穿梭的车辆就隐藏着巨大的信息。然而目前来看智能交通的潜在价值还没有得到有效挖掘。在上述背景下,针对交通大数据分析系统的研究和应用应运而生。传统的数据分析系统在海量数据存储分析方面存在明显的性能瓶颈,并且单台计算机有限的内存与CPU已无法完成对大数据的处理。对比目前广泛运用于大数据分析的Hadoop的MapReduce分布式计算框架,本文采用的基于RDD(弹性分布式数据集)和内存计算模型的Spark分布式计算框架具有更好的适用性。本文以交通监控目标信息数据为基础,完成了基于Spark的交通监控目标大数据分析系统的设计与实现。本文首先对大数据的理论和关键技术进行了深入的研究,详细描述了系统的设计分析思路,包括系统架构和功能模块的设计。在功能模块的设计中主要考虑包括海量的数据的接入、存储、分析、展示等问题。然后在此基础上开发了基于Spark的交通大数据分析系统,为交通领域的数据挖掘提供了系统支持。接着本文详细描述了系统在进行数据分析过程中遇到性能瓶颈的原因,同时提出了一个基于代价和Bloom Filter算法的关联优化方案。除此之外还针对分布式消息队列提出了一种优化的配置方案,使系统的吞吐量达到最大化。最后设计了相关实验,经过大量真实数据的实验,验证了本文所提方案的有效性,并在优化后取得了很好的效果。
其他文献
现代公共行政强调对公正和社会公平的追求,认为实现正义和社会公平恰恰是公共行政的根本目的。结合我国构建社会主义和谐社会的现实需要,新公共行政学的社会公平理论有着更为
西藏珠穆朗玛峰国家级自然保护区(以下简称为珠峰保护区),保护着被称为第三极的珠穆朗玛峰及其周边地区,有独特多样的生物群落和生态系统,在全球生态和生物多样性保护方面具
泵站是水利工程建设中的重要构成部分,它的良好运行对于我国水利的建设意义重大。泵站以提水作业的形式,为农业灌溉、航运以及排水等各部门服务,它是一项社会性的事业,泵站的良好
高校固定资产管理主要分成实物管理和账务管理两个部分,本文基于执行新政府会计制度的前提下,从账务管理角度出发,对固定资产折旧前存在的问题提出对策和建议,并浅析开展固定
为增强学农教学效果,将农作物种植管理课按照春种与秋收的农作规律,在中学生学农教育中进行课堂讲授和田间体验等应用,通过观察教学效果和分析,结合中学生成长特点,提出进一
目的比较不同时机应用子宫动脉栓塞(UAE)在胎盘前置状态引产中的疗效。方法采用回顾性研究方法,选取2016年5月至2019年5月西北妇女儿童医院收治的胎盘前置状态引产患者150例,
近年来,惠安公司党委积极探索新形势下创建企业化实效型党建思想政治工作新体系的思路,坚持“融入中心做工作,进入管理起作用”,在突出“企业化、实效型”特色上下工夫。着力推进
目的探讨抗磷脂酶A2受体(PLA2R)抗体在特发性膜性肾病(IMN)患者肾组织及血液中的表达及检测价值。方法回顾性选择2016年6月至2018年6月遂宁市中心医院肾内科收治并确诊的56例
创新型封闭式基金具有传统型封闭式基金的各种优点,同时克服了封闭式基金折价率过高的缺点,是我国基金业的重要金融创新产品。文章对影响创新型封闭式基金的市场表现的动因进行
根据妇产科学的特点和教学现状,建立妇产科学课程网站并提供丰富的多媒体网络化的教学资源,便于学生的在线学习。结果证实,此举有利于提高教师的教学质量和学生的学习热情,有