云环境下的实时流计算平台研究

被引量 : 3次 | 上传用户:aerostock
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云计算技术的快速发展,越来越多的企业和个人将业务和应用部署到云环境中,其中,实时流处理业务占据的比重越来越高。传统云计算平台多为批处理平台(如Hadoop),批处理作业的输入是预先存储好的静态数据,作业规模可预知,数据处理完毕即停止。与批处理作业不同,实时流处理作业的输入是不间断的数据流,且数据量大小具有波动性。因此,如何在云环境下设计一套通用可靠的实时流计算平台成为了非常重要的问题。目前现有的实时流计算平台在平台编程模型、高可用性、动态负载均衡、资源及业务动态变更、平台监控等方面存在不足或局限性,难以适应不断变化的流处理业务需求。本文围绕云环境下实时流计算平台中的核心技术,开展了一系列的研究与系统实现工作。首先,我们针对实时流计算平台的可用性问题,设计实现了一套基于Zookeeper的高可用架构,通过监控各模块心跳信息和故障迁移策略,确保平台及时检测并恢复程序级与节点级故障。然后,我们设计了一套松散的用户接口,可集成动态库与可执行程序业务,降低平台耦合性,使业务能更加灵活的集成到平台中来,解决了传统平台对业务接入方式要求过高的问题。其次,为了解决任务间多对多动态负载均衡问题,我们采用状态级调度器与分布式会话表技术,克服了在无全局会话表的情况下保持会话一致性的难点,并证明了该方法的收敛性,使平台中资源使用更均衡、资源利用率更高。再次,平台通过建立任务分配矩阵,优化了任务调度模型,使用户可通过任务分配矩阵方便的实现个性化任务调度策略。最后,为了解决分布式集群中共享资源和变量的一致性问题以及多主节点互备问题,采取了基于Zookeeper的分布式锁服务,提升了系统的健壮性。在上述研究工作的基础上,本文实现了一套云环境下实时流计算平台——流水行云,该平台具有低耦合、高可用、低延迟、弹性可扩展的特点,并具有动态库与可执行程序业务接口、作业下发与运行时启停更新、动态的负载均衡策略、故障节点中任务迁移、多种任务分配策略、运行时资源动态变更、及丰富的UI监控信息等功能。通过该平台,用户可以摆脱通信实现、集群搭建、平台运维等困扰,将精力集中在业务的实现上,从而缩短业务开发周期、减少开发与运维成本、降低业务开发风险。实验结果表明:“流水行云”实时流计算平台最大可承载吞吐量及处理延迟都处于同类平台中的领先水平。该平台为海量数据流实时处理,如电子商务实时交易数据处理、物联网传感流量分析、互联网流量监控等提供了可靠、通用、快速的解决方案。
其他文献
聚合物薄板表面内应力的大小是影响聚合物薄板使用性能、几何尺寸和质量精度的关键因素,也是最容易被忽视的因素。在聚合物薄板制品精密注塑成型过程中,有效的控制其表面内应
随着社会经济文化生活水平的提高,IC (integrated circuit card)卡由于其安全便捷的支付方式,受到越来越多的人们青睐。市场上IC卡片品种的不断翻新变化、企业对内部信息资源
有效教学是指教师在教学中遵循教学规律,成功引起、维持和促进学生的学习,并达到较好的学习效果所实施的教学内容、教学方法和教学过程。有效教学的涵义包括:合规律性,有效果,有效
目的本文旨在通过研究冠状动脉旁路移植术(coronary artery bypass grafting, CABG)患者围手术期的血糖水平对术后并发症和住院天数的影响,探讨CABG患者围手术期血糖控制对于
近年来韩国公司在招聘职员时十分看重汉语口语能力,选择汉语作为第二语言的学生的数量也逐年增加,许多韩国入学习汉语的主要目的是用汉语进行交流以及表达自己的想法。因此,
本文首先对超高清电视技术进行了介绍,然后对4K电视播出所面临的问题进行了分析,最后结合超高清播出的必然趋势,对4K播出的总体架构、IP化、全媒体发布、智能化运行监管等前沿技
形成性评价作为一种新兴的教育评价手段受到越来越多的关注。它通过多种评价方式对学生的学习过程进行评价,提供及时有效的反馈以促进学生动态持续的发展。在我国英语教育中,传
随着无线技术和终端产品的快速发展,超宽带(UWB)技术以宽带宽和低功耗等特点在短距离无线通信领域具有显著的优势,这也将推动超宽带天线的设计愈趋于小型化和集成化,而利用天线的
行为规训和德性养成是公民道德教育的基本方式,二者共同影响着公民道德教育的持续健康发展.然而,在公民道德教育中人们片面重视行为规训、制度规范的德育功能,忽视了道德修养
城市特色是城市的灵魂,是城市竞争力的重要组成部分,城市特色资源在很多地区和城市的快速城市化过程中破坏严重,随着人们对城市价值认识及生活品质的不断提高,城市特色资源的保护