【摘 要】
:
随着大数据流处理技术的不断成熟和广泛运用,越来越多的大数据流处理平台涌现了出来。大数据流处理能够对动态产生的数据进行实时计算并及时反馈结果,在数据的有效时间内挖掘
论文部分内容阅读
随着大数据流处理技术的不断成熟和广泛运用,越来越多的大数据流处理平台涌现了出来。大数据流处理能够对动态产生的数据进行实时计算并及时反馈结果,在数据的有效时间内挖掘其价值,因此成为了应用于诸多场景的重要技术。Storm是目前在业界被广泛使用的一个流处理平台,但它也有一定的局限性。Intel最新开源的流处理引擎Gearpump解决了Storm的一些局限性,为用户提供一个更加优秀的流处理平台。为了使用户能够以较低的成本体验到Gearpump的优良特性,我们设计并开发了基于Gearpump流处理引擎的Storm兼容性模块,使Storm的应用能够直接运行在Gearpump平台上。为了实现上述的Gearpump流处理引擎的Storm兼容性模块,本文首先介绍了流处理平台的相关背景及发展现状,并对目前主流的流处理平台Storm、 Samza、Spark等进行了调研。紧接着介绍了本项目的关键技术,并对两个与本项目密切相关的流处理平台Storm和Gearpump进行了深入的研究和分析,提出了基于Gearpump流处理平台搭建一个Storm兼容层的需求。基于之前的研究工作,分析了项目需求,重点阐述了提交应用和拓扑图转换等功能需求和用例描述,并对系统的三个子模块GearpumpNimbus子模块、GearpumpStormClient子模块和拓扑图转换子模块进行了详细的设计。最后,给出了各个子模块的具体实现细节。本文所实现的Gearpump的Storm兼容性模块成功的将Storm应用运行在Gearpump上,并且保证了应用运行时的高性能,让Storm用户在Gearpump平台上体验到了其特点。
其他文献
财产保全是人民法院使用频率极高的解决当事人争议问题的强制保护性措施,直接关系到当事人实体权益,相应地要求在适用该措施时,必须确保正确性和合法性。一、国家赔偿中的财产保
首先根据电力上市公司的特点建立了一套评价其财务综合能力的指标体系 ,然后引入多目标决策中的逼近理想解法 (TOPSIS法 )建立了电力上市公司财务综合能力的TOPSIS评价模型 ,
为了解决随着现代电力系统日趋复杂性,电压等级的升高,所带来的运行过程中可靠性降低的情况,采用自适应自动重合闸装置作为电力系统继电保护装置的重要组成部分,利用了控制开
复合树脂作为临床常用牙科充填材料存在耐磨性差、聚合收缩大和牙本质边缘适应性不佳等问题。近年有研究发现预热可以改善复合树脂的性能,本文就预热复合树脂对其单体转化率
本文采取文献研究和实地调查的方法,并结合开办十一学校JA格子屋学生公司的实践,对格子铺这一商业模式在电子商务时代的优势、劣势、机会和威胁四要素进行了分析,提出了在电
目的探讨丁苯酞(NBP)预处理对脑缺血再灌注损伤后大鼠海马神经元的保护作用。方法将120只SD大鼠随机分为假手术组、缺血再灌注组、NBP低剂量预处理组(低剂量组)、NBP中剂量预
<正> 据权威人士报道:市场上"蛙热"将继续升温,而且持续五年不会下降。但不少养蛙者弄不清古巴牛蛙好?还是美国牛蛙好?对此,养蛙者心怀困惑和疑虑。本所将这两种蛙进行了多年
在中国处于社会转型发展的今天,如何认定自然科学与哲学的联亲,则是至关重要的问题.该文以自然科学史与哲学史的相关材料为佐证,力足全面展示和论证自然科学与哲学的血缘关系
<正>靶控输注(TCI)技术显著提高了临床麻醉效果,在临床使用逐渐增多,但不同年龄患者临床使用对血流动力学的影响可能会有差异。本文旨在观察和比较老年与中青年患者TCI丙泊酚
<正> 河南西平县人和乡冯庄村农民冯金平依靠科技,大胆探索,自学养花,不仅富了自己,而且带动了100多户农民养花,既美化了环境,愉悦人们身心,且摆脱了贫困,走上了养花致富路,