基于Raft的Airflow调度器集群的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:maryren
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网服务数据量的增加和业务需求的复杂化,许多开发者开始借助任务调度系统执行业务代码。Airflow作为一款操作简单、功能丰富的分布式任务调度框架,得到了许多企业和开发者的认可和选择。但是,作为分布式服务,Airflow具有不可忽视的缺陷,例如调度器节点仅支持单点部署、用户对集群的监控和管理比较繁琐。针对以上问题,本文在调研了当前集群服务高可用方案的基础上,设计并实现了Airflow调度器集群系统。系统支持了调度器节点的集群部署,通过Raft一致性算法实现了调度器节点的故障容灾,极大地提高了集群的可用性。通过对Airflow调度器进程的TCP请求进行了监控和限制,保证集群数据的一致性。另外,系统提供了集群管理页面和配置文件版本控制功能,简化了用户对集群的维护和管理操作,提高了Airflow集群的易用性。本文首先分析了Airflow现有的问题和不足,明确了Airflow调度器集群系统的系统范围和需求。根据需求,本文将系统设计为Raft模块、TCP代理模块、配置文件版本控制模块、集群管理页面模块四个主要模块。之后,本文使用Python语言完成了系统的实现,引入IO多路复用技术实现了高性能的TCP代理,基于Flask框架搭建了集群管理页面和配置文件版本控制功能相关的接口。本文的最后对系统进行了可用性测试和功能测试,测试结果显示Airflow调度器节点可以在系统的支持下实现集群部署,集群的容灾能力大幅度提升,集群管理方面的功能也达到了预期的效果。
其他文献
截至2018年12月,我国网民达到8.29亿,其中手机网民占比达98.6%。随着新媒体技术的发展和网民数量的不断增加,以政务微信号为代表的政务新媒体日趋成为传播政府信息、提供公共服务、提升社会治理能力的重要窗口。各级党媒的微信公众平台在“走、转、改”中起到了关键性作用。如何客观衡量考察政务微信公众平台的传播效果,探究其在多大程度上达到了“提高传播力、引导力、影响力、公信力,巩固壮大主流思想舆论”的
第一部分中性粒细胞淋巴细胞比值与房颤的相关性目的:目前关于炎症反应在房颤的发生和维持过程中的地位已经得到了广泛的认可,中性粒细胞淋巴细胞比值(NLR)作为新的炎症标志物得到关注,国外有研究证实了 NLR水平与房颤发生及维持存在相关性,但并未深入研究其与中国汉族人群之间的相关性,本研究旨在研究本地区人群的NLR水平与房颤发生发展的相关性,从而为本地区人群的房颤防治技术的提高提供相应的理论基础。研究方
人们在日常生活中经常使用一些手势进行交流,通过手势识别来实现人机交互的技术可以很自然地应用于手语识别、车载设备控制、智能家居等方面,是未来人机自然交互的重点研究方向之一。但就交互而言,手势识别的实时性和准确性是关键。传统的手势识别研究已经进入瓶颈期,很难在实时性和准确性上更进一步,深度学习的快速发展为手势识别提供了一个新的研究方向。本文首先分析了手势识别的研究背景及研究意义,介绍了研究现状和发展趋
体细胞核移植(Somatic cell nuclear transfer,SCNT)在动物育种、生物医学、异种器官移植、干细胞及重编程机制的研究等方面具有重要的应用潜力。核移植后,体细胞将发生全方位的重编程,使移植后的体细胞核能够发生类似于合子基因组激活(Zygote genome activation,ZGA)的过程。大量的研究表明,表观遗传修饰异常是SCNT重编程的主要障碍。已报道的SCNT重
石油基高分子材料的不可降解性带来的环境污染问题日益严重,随着人们环保意识的增强,使用生物可降解聚合物来代替部分石油基高分子材料被认为是缓解环境污染问题的一种重要方法。聚乳酸(PLA)以其良好的生物相容性和可完全降解性能成为近年来的研究热点,但随着社会节奏的加快,在快消品、农用地膜以及一次性医用机械塑料等领域,聚乳酸制品的高报废率和降解效率低的矛盾越来越尖锐,使得垃圾堆积问题始终无法有效解决,这导致
5G无线通信技术正在迅速发展。然而,无线资源的优化利用存在一定的局限性,仍然无法解决有限的频谱资源与业务需求快速增长之间的矛盾。认知无线频谱分配技术的出现带来了新的转机。频谱分配技术可以使用空闲的频带同时不造成相互间干扰。它充分利用了无线空间资源,极大地提高了频谱资源的利用率。本文重点研究认知无线网络中智能算法的频谱分配问题。给定有限的频谱和一组用户,我们考虑网络效用的最大化和网络中所有用户的公平
作为阳明第三代弟子的章潢,是江右地区讲学的代表性人物。通过讲学交友,章潢构建起了自己的师友网络,在与学友往来互动中切身践履儒家生命之学。面对阳明后学异端四起,佛老及辞章训诂之流对儒学的冲击等一系列问题,章潢以弘道为己任,具有强烈的时代问题意识,在与学友往来讲学辩论之中,不断吸收各家思想,并熔铸于一身,由此形成了实学风格的理学思想。本文着眼于章潢的工夫论思想,通过分析其修养工夫的为圣之学,从而发掘章
当前,我国经济发展进入新常态,十九大报告强调要坚定实施创新驱动发展战略,加快建设创新型国家。作为创新最主要载体的企业研发(R&D),是企业投资决策的重要组成部分,已有学者研究表明企业的研发投入强度对技术创新产出有较强的促进作用,同时企业的技术创新产出对企业的国际竞争力有显著的促进作用。这就将企业研发提高到事关企业竞争力甚至是国家竞争力的高度上来。然而,企业研发具有投入高、风险大、研发周期长
随着市场竞争日益激烈,企业对存货科学管理需求不断加大,致使存货内部控制在企业中的地位不断提升,成为现代企业管理的重要手段。我国是制造业大国,其生产经营活动涉及到采购
随着我国经济社会的发展和城市化进程的加快,以北京市为代表的我国大中型城市,普遍存在通勤高峰时段的城市道路拥堵现象。道路拥堵问题已经成为城市交通可持续发展亟待解决的问题。拥堵收费作为解决拥堵问题最直接、最有效的手段之一,难以实行和推广。多数大城市尚处于该项政策的观望、学习、研究阶段。究其原因,一方面,公众对拥堵收费的支持程度往往影响着政府的政策取向,拥堵收费容易遭到公众的反对而被搁置。另一方面,拥堵