一种基于Actor模型的弹性可伸缩的流处理框架

来源 :第十四届全国软件与应用学术会议 | 被引量 : 0次 | 上传用户:lequ123123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
流处理是一种重要的大数据应用模式,在金融、广告、物联网、社交网络等众多领域得到了广泛应用.在流处理场景中,流数据的产生速度往往变化剧烈且不容易预测.这时,如果数据流量峰值超过处理系统的承载能力,可能使得系统运行缓慢甚至崩溃,导致处理作业失效;如果为了应对数据流量峰值而过度配置资源,则可能在系统轻载时产生不必要的浪费.为了解决流处理中负载和资源的匹配问题,流处理系统应该具有弹性可伸缩的能力,一方面以高效的方式组织运算资源,另一方面能根据数据流量的实时变化自动地调整资源使用量.然而,现有的流处理框架对于弹性可伸缩的支持尚很初步.本文介绍了一种基于Actor模型的弹性可伸缩的流处理框架eSault.eSault首先基于Actor模型将批量的处理单元进行分层管理,通过两层路由机制实现了对伸缩性的支持;在此基础上,设计一个基于数据处理延迟的过载判断算法和基于数据处理速度的轻载判断算法来指导系统对资源的有效使用,进而实现弹性可伸缩的流处理.实验结果说明,eSault具有较好的性能,而且能够很好地实现弹性可伸缩.
其他文献
目的:慢性阻塞性肺疾病(COPD)是常见的呼吸系统慢性病,具有高患病率及高死亡率等特点,其发病机制复杂,可能与多个基因变异相关,动物模型的建立与研究对了解其发病机制尤为重
随着互联网的迅猛发展,信息化时代的到来,数据量成爆炸性趋势增长,推荐系统成为了一个越来越受关注的领域。由于推荐系统是根据用户的历史行为和项目的历史特征进行分析,而用
[目的]解决早熟禾草坪中禾本科杂草的防除难题。[方法]采用坪安2号、坪安3号加草坪抑制剂对早熟禾草坪中的禾本科杂草进行防除试验。[结果]坪安2号300倍液对早熟禾草坪中的禾
油管腐蚀己成为制约油气田发展的一个重大问题,其中油井采出水对油管的腐蚀备受关注。因各油田的采出水组成以及腐蚀环境的差异,使得相应的腐蚀研究具有针对性。延长油田某采
高职院校创新创业教育模式是高职院校在现行国家实施创新发展驱动、建设创新型国家背景下解决创新创业教育一系列问题的方式、途径与方法,它具有个体性、多样性、动态性和多
本文采用超音速火焰喷涂在三种基材(T12、T91、Super304H)上分别制备三种涂层(45CT、NiCr/Cr3C2和NiCrAlY),研究这些样品在650℃和750℃含0.15%SO2气氛浓度下的腐蚀行为并探讨其
在城市化进程不断推动之下,建筑项目在全国各地都正在大量建设。由于人们生活水平不断提升,人们对建筑领域有着更高的标准要求,不仅需要提升建筑项目的质量,还要求建筑项目的
<正> 展陈是博物馆的基本功能之一,随着时代的发展,社会的进步,尤其是改革开放以来,科学技术的突飞猛进,使人们的思维方式发生剧烈变革,博物馆作为信息社会主要的传播媒体之
会议
以鹅去氧胆酸为隔离基,芳香族化合物为手臂设计合成了一类新型的分子钳,其结构经1HNMR,IR,MS及元素分析确证.利用紫外光谱滴定法考察了其与D/L氨基酸甲酯的对映选择性识别性
天然气及轻烃集输管道输配管理的主要方法有:加强输配率科学监管,严格执行输配率制度,开展用气厂点生产情况监测,实行线路标准化巡检;优化管网调配功能即完善轻烃对比计量系统