一种流式计算平台的设计与实现

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:q157194179
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术和互联网的发展,基于流式数据的应用越来越多,传统的计算架构已经无法满足这类应用的需求。本文针对于基于数据采集和在线统计分析等Web应用的现实问题,设计并实现了一个流式计算平台Mos。Mos是一个分布式、高可用、可扩展、低延迟、基于Map Reduce编程模型的流式计算平台,能够满足对实时应用的需求。   本文深入分析了当前若干主流的分布式系统的架构,以实现一个流式计算平台为目标,紧紧围绕着可扩展性、低延迟和高可用性三方面展开研究,本文的主要工作为:   (1)分析和总结了目前主流平台的特点,吸取了其中优秀的思想,完成了Mos架构的设计与实现。   (2)由于流式计算平台低延迟的要求,集群的负载平衡是影响系统性能的关键问题,本文深入探讨了负载平衡问题,并提出了一种基于资源利用率的、动态变化的负载平衡策略,使得任务会随着节点运行情况实现动态调整。   (3)要保证一个系统的可用性,需要对错误有一定的容忍度,本文提出了一种基于内存的多级错误容忍策略,根据任务对实时性和可靠性的需求不同采用了不同的容错方式,具有较高的灵活性和可靠性。
其他文献
泌尿类疾病日益威胁人类健康,现代医学可通过测量尿动力学参数来动态还原患者实际的排尿过程,从而对病情进行诊断和治疗,因此对患者排尿数据的采集以及通过软件对相应数据进行分
软件定义网络(Software Defined Network,SDN)是一种新型的网络架构,它的核心思想是将控制平面与数据转发平面相分离,将交换机变成了简单的转发设备,控制器具有了全局性的控
本文在李群均值计算的基础上,提出了Lie-Fisher学习算法,其主要思想是在李群流形上寻找一个由总体样本内均值的李代数元素决定的单参数子群,这个单参数子群是原李群上的一条
随着人们生活步入智能化和信息化时代,移动摄像设备在日常生活中逐渐普及,图像获取工具的增多,使得图像的获取更加简单便捷,同时也导致图像数据量迅速增大。近年来,用以描述
当今时代科技迅猛发展,互联网上出现了越来越多的三维数据,而形式概念分析是以二维数据为基础的,不能满足对此类数据进行挖掘研究的需求,因此无法从中获取到有价值的信息。随
随着网络的日益发展,使用流媒体系统观看节目成为不可抵挡的趋势,它在逐渐抢占传统有线电视的媒体市场。基于P2P的流媒体系统在充分利用了网络中大量节点资源的条件下,确保了
随着数字音乐在网络中的不断发展,不仅使得广大的音乐爱好者可以通过计算机自动获取所喜爱的音乐,而且引起了计算机科学家及工程技术人员对自动音乐信息检索的极大研究兴趣。然
近年来,随着越来越多人群踩踏、恐怖袭击以及其他公共安全事件的发生,作为群体行为监控、分析、预警基础的人群异常事件检测已经成为智能监控领域中亟需解决的问题之一。然而
随着互联网技术的飞速发展,越来越多的数字内容开始在互联网上传播,数字内容服务已经成为互联网行业中发展最快、最有前景的领域之一。但是,数字内容通过网络传播时极易被非法获
随着云计算技术的推广,涌现了许多优秀的云计算平台,其聚合了大量硬件资源和软件资源,并采用虚拟化技术实现动态伸缩服务量,按需提供服务。为确保云平台正常运转,必须对整个云架构