具有自适应性的Storm任务部署与配置平台的研究

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:gujianjia
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,我们正步入一个由数据驱动的经济社会,是否能够高效地、及时地分析海量数据变成了一个产业成功与否的重要前提。在海量数据处理环境中有很多需要在流式数据上进行复杂计算的情况。近些年来,Storm作为流数据实时处理利器在工业界和学术界都引起了广泛关注,对Storm的处理性能的优化工作更是成为业界研究的热点。已经有很多研究工作以优化Storm任务调度为出发点,在一定程度上提高了Storm的处理数据的效率。但是他们大都忽略了任务配置参数的好坏对Storm处理性能的直接影响。实际上,如果不能对任务配置参数有很恰当的设定,那么将对Storm集群处理性能以及稳定性产生严重影响,而且以往的优化方案也都不能够达到很理想的优化效果。在研究了流式处理框架Storm及相关技术的基础上,本文提出一种具有集群自适应性的Storm任务部署与配置平台,致力于解决Storm集群性能优化问题。在本平台中,本文主要实现了以下功能服务:(1)为监控集群资源变化情况、获取历史分配信息以及监控集群节点间任务通信量的情况,本文设计实现了Storm集群感知模块;(2)为解决任务运行进程数目的盲目设置对处理性能造成的不良影响,本文设计实现了Storm任务配置自调节模块;(3)为提高集群处理性能,在(1)和(2)的基础上,本文设计实现了一种基于此平台的Storm调度算法。经过实验证明,在结合对集群全局状态的感知以及对任务配置参数合理的自调节之后,本文的调度算法能够大大减少集群内部任务通信量,在很大程度上提高了Storm集群的处理性能,为海量流数据的分析处理提供了更为高效敏捷的处理方案。实验表明,此方法在事务处理时延上要比Storm缺省调度方法低47.6%左右,比目前基于内部通信量优化效果最好的调度算法OnlineScheduler低21.4%左右。本文首先介绍了大数据环境下实时流数据处理的重要性以及流计算框架发展研究情况,其次对本平台开发实现的相关技术进行了简要的介绍,然后对平台整体架构以及核心模块的实现进行了系统性介绍,最后对平台的性能测试实验结果进行了分析介绍。在论文的结尾处,进行了研究总结以及未来方向的展望。
其他文献
与时俱进的网络通信和日趋频繁的互联网应用虽然降低了人类生活的沟通成本,但也提高了对信息传递的安全性要求。由于图像数据的强关联性,传统的文本加密方案并不具有普适性。
飞行器试验中,遥测环境参数直接反应内弹道工作状态,遥测环境参数处理结果是鉴定飞行器试验成功与否的重要依据。目前,飞行器试验遥测环境参数的处理仍然依赖于基于傅里叶变
随着多媒体技术及Internet的迅速发展,人们越来越多地接触到各种各样的图像信息。如何组织、管理和利用以图像为主的多媒体信息具有重要的意义。但是到目前为止,基于内容的图
在操作系统安全方面,访问控制的地位是极为重要的,其作用是显示地控制主体对客体的访问权限,从而防止客体被非法访问、篡改等非法操作。本文将对目前的访问控制研究进行总结,
磁共振成像(MRI)是利用人体内含有的大量氢离子在磁场内发生共振所产生的信号经检测和处理最终重建出图像的一种成像技术。MRI成像因其无创伤、无痛苦、很少受目标物体运动影响
粗糙集理论是由波兰科学家Z.Pawlak在1982年提出的一种处理模糊、不精确知识和不完备信息的数学工具。该理论的特点是不需要任何先验的知识,或者任何附加的信息,就能有效地分
中国电信进行重组收购中国联通的CDMA,取得了移动运营牌照,提出了把原有的133号段用户向189号段进行转网的MNO一卡多号业务。HLR (Home Location Register)作为CDMA核心网中
由于传统的教学资源竹理系统对分布式异构知识的描述和获取具有一定的局限性,导致了学生选课的片面性、被动性和盲目性。为此,本文把本体和语义网等相关理念及其相关技术引入
随着计算机技术和通信技术的快速发展,电子文档的安全存储、安全处理、安全传输显得越来越重要。对电子文档保护的重要手段之一就是加密,将信息以密文的形式存储和传输,从而
人脸识别作为一种重要的生物识别技术,在很多领域有着广泛应用。目前国内外已经有了一些比较成熟的人脸识别技术,例如特征脸、本征脸、拉普拉斯脸等。然而人脸本身作为生物特征