基于Storm的数据实时处理系统任务调度机制研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:ghtianli
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于分散的各个天文台源源不断地产生天文观测数据,为了方便检索,要求天文元数据的处理系统必须具备很高的实时性,而传统的批处理大数据平台需要将数据下载存储后再处理,因此难以满足系统的高实时性要求。Storm作为一个分布式流数据实时处理框架,能够保证大流量数据处理的时效性,因此本文考虑将其应用到天文元数据处理系统中,以实现数据流的实时接收与处理。通过分析发现影响Storm系统性能的核心问题之一是系统任务调度机制。目前Storm系统使用的默认调度机制为简单的轮询机制,虽然能够实现一定的负载均衡,但是针对天文元数据实时处理更复杂的任务需求,将产生较大的系统性能瓶颈。针对Storm系统调度问题,本文主要从两个部分共同实现优化:第一个方面是增加系统弹性机制以提高系统的资源利用;第二个部分是通过优化任务部署来减小系统的通信开销。首先,针对Storm系统弹性机制缺失问题,论文提出在系统中嵌入一个实时的自适应弹性机制模块,通过不断获取系统运行的状态信息,根据信息做出相对应的调度决策,动态的为每个Topology应用配置合理的计算资源,使系统的资源可以得到更充分的利用;然后,针对目前任务部署不合理而造成系统通信开销过大的问题,论文提出了一种基于图划分技术的任务部署调度优化方法。具体做法是将运行中的Topology计算应用看作一张带权重的图,然后利用图划分技术来对这张图进行处理,得到一个合理的任务部署优化调度方案。调度方案在保证负载均衡的条件下,可以有效地减小系统的通信开销。最后将调度方案提交给系统实施调度,实现减少系统处理时延,提高系统吞吐量的目标。论文对提出的调度优化方案进行了实现并搭建了实验环境,对系统的功能及性能进行了全面测试。试验结果表明,论文设计的调度优化方案能够在资源利用,系统处理时延以及吞吐量方面实现性能的提升。该调度方案的研究与实现,有效提升了Storm系统的性能,为天文元数据的实时处理提供了关键技术支撑。
其他文献
冲击片雷管属于第三代火工品,是一种可靠性、安全性较高的雷管,其抗杂散电流、防射频、抗静电等能力较强,在国外已被广泛的应用于各类武器系统中。本文在型号配套研制的背景下,根据技术要求,采用理论与试验相结合的方法对冲击片雷管进行了针对性的设计研究。主要研究内容如下:(1)本文根据外形尺寸要求,对冲击片雷管的详细结构进行了设计,并阐述了冲击片雷管的作用原理。(2)经过试验对比,确定了飞片、金属桥箔、加速膛
选取天然植物染料姜黄的提取物,配制染液,对前处理过的Lyocell纤维针织物进行直接染色,通过正交试验,单因素试验分析确定其染色工艺,试验结果表明,姜黄提取物用于Lyocell纤维
摘 要:小学阶段是培养三观的重要时期,学生的心理健康教育直接决定着学生的人生观、世界观、价值观的正确与否。社会、学校对学生的心理健康越来越关注,对学生的教育逐渐向“以人为本”不断靠拢。本文主要论述了小学心理健康教育“感悟—诱导”教学模式,以期为小学心理健康教育提供借鉴。  关键词:小学心理健康;“感悟—诱导”;优点  虽然目前小学生的心理健康教育已经提上了日程,但是依旧有人对此嗤之以鼻,认为小学生
在土耳其,燃煤电厂产生大量同煤有关的废弃物,这些废弃物通过多种方式被收集起来。目前,在土耳其,煤灰的堆积量以每年超过1000万吨的速度增加,大约1%的煤灰使用于各种产品,如混凝土
幼儿园的一日活动包括入园环节、盥洗环节、进餐环节、喝水环节、如厕环节、自由活动环节、午睡环节、离园环节及集体教学活动。而在这九个环节中,我们除了集体教学活动这一环
【摘 要】教师博客是计算机网络发展的产物,随着互联网的高速普及,现在越来越多的人接受这种新的教学和学习方式。本文探讨教师博客宜于教学的特点,根据职校计算机CAD的课程特点和教学现状,分析教师博客在职校计算机CAD教学中的应用。  【关键词】教师博客 计算机CAD 教学应用  计算机CAD是职校计算机专业必修的课程。课程虽实用,但学生掌握有难度,特别是职校的学生。目前公开发表的关于《计算机CAD》课
<正>~~
期刊
小学阶段的古诗词学习对于学生的发展具有重要意义,能够提升学生的思想道德、阅读情感和观察能力,但传统的教学模式将古诗词学习停留在了解的层面,没有达到鉴赏的程度,也就难以实
近日,为深入学习贯彻习近平总书记系列讲话精神,把全面从严治党落到实处,集团公司党委决定在全体党员中开展“学党章党规、学系列讲话,做合格党员”学习教育活动(以下简称“两学一