Storm流式计算框架反压机制研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:wtwl66
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实时计算与流式数据处理为实时推荐、实时热度统计、股票实时交易等业务应用提供了有效手段。Storm实时计算框架是开源的分布式实时计算系统,具备高可扩展性、高可容错性和高效性等特点,得到了较多关注。论文研读了Storm相关源代码,着重剖析了Storm框架的体系结构、Storm集群中各组件及其运行机制。在此基础上,论文完成了以下主要工作:首先,针对Storm中现有反压机制会产生数据流震荡,降低系统吞吐量和性能问题,提出了一种能够灵活调节Topology中各环节数据负载的反压机制,该机制采用可变队列,并根据当前Tuple负载动态调整队列大小,以适应数据负载的动态变化,并提升系统吞吐量。实验结果表明该反压机制能够避免反压过程中出现数据流的震荡,同时提高系统性能和稳定性。其次,针对反压机制在出现过载后才进行滞后处理,从而造成计算时延问题,提出了数据流预测的预反压策略。该策略根据当前数据流的自相似特性,进行数据流预测,并根据当前计算节点的计算能力采用预反压策略。实验结果表明该预测策略具备较好的精确度,可以降低Storm集群平均处理时延,提高系统吞吐量,从而提升系统性能。论文研究工作表明,对Storm反压机制的研究和改进,可以在一定程度上改善Storm运行过程中任务处理时的平均时延,并且可以有效提高Storm集群的吞吐量,从而提升Storm实时计算框架的整体性能。
其他文献
在计算机图形/图像学领域,常常使用样本纹理对几何模型表面进行细节化描述。模型表面纹理合成是进行复杂场景数字建模最为常用的技术。模型表面纹理合成也称为曲面纹理合成,
点云骨架提取一直是计算机图形学领域的研究热点。近年来三维扫描设备的使用越来越广泛,点云模型的应用场景也越来越多。但是点云数据由于数据量庞大等原因不宜保存,同时原始
随着国家实行“金税工程”以来,我国的税务领域发展日新月异。与此同时,计算机技术在税务系统的应用趋势也越来越明显,新税务系统的建设越来越注重信息化和自动化。咸阳市税
序列设计在无线通信领域发挥着关键性的作用。传统的序列设计主要集中在构造良好相关特性的序列和序列集上,所以在数量上有一定的局限性,而序列偶的提出很好的扩大了信号的存
随着天文领域的发展,对于天文望远镜的使用需求日益增长,而天文设备造价昂贵、维护成本高,天文望远镜的有效利用一直是天文领域所关注的方向。在天文观测中,天文观测目标在一
保护区外的人工景观和城市绿地是鸟类重要的栖息地,在此区域中进行生物多样性的保护和研究非常有意义。西藏农牧学院校园人工景观中鸟类资源丰富,有较多鸟类在此进行栖息繁殖
随着移动互联网的蓬勃发展,移动应用在人们的生产生活中扮演着日益重要的角色,更多的开发者开始从事移动应用的开发。在主流的开发模式中,基于第三方框架的混合移动开发模式
为了进一步满足人们对高质量移动通信的迫切要求,大规模MIMO技术作为增加数据传输速率的关键性技术成为了 5G技术的研究热点。然而,随着天线数目的增长,导频的长度受到信道相
近年来,随着科学技术的迅猛发展,来自各种科学计算、工程计算、测量等方面的数据日益增大,所要求的精度日益精确,待处理的问题规模越来越大,因而,研究大规模散乱数据的曲面重
无线通信技术,因其使用方便、用户端接入灵活和无处不在的特性,已经成为信息时代全球通信网络发展的一个重要方向。但目前,能够使用的低频无线电频谱异常拥挤,并且可供无线接