基于Kafka的Nettv物联网服务器集群负载均衡的研究

来源 :浙江理工大学 | 被引量 : 0次 | 上传用户:hzn_arm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在很多物联网服务器应用中,提升服务器系统的并发性能以支持海量终端设备的接入是其重要任务之一。为了满足系统处理大体量数据时低延时和高吞吐量的需求,本文从纵向和横向两方面对系统进行优化。纵向优化,是从单机的角度通过合理分配系统资源,实现服务器处理能力的提升。但是在目前充斥着海量数据的互联网环境中,单台机器完全无法满足需求,所以需通过多台机器构建分布式系统来提高服务器的处理能力。为了进一步提升分布式系统的性能,采用横向优化的方式,从负载均衡角度提高集群的可用性以及改善资源利用均衡率等。本文根据以上两个优化方向对传统物联网服务器系统进行优化,主要研究工作如下:(1)本文首先详细介绍了网络I/0模型的内部原理,包括Reactor和Netty的线程模型。接着介绍了 Kafka消息中间件的设计原理,从组成架构和消息队列的工作模式两个方向进行讨论分析。然后,介绍了 Kafka集群及其负载均衡算法详细步骤。(2)针对Netty的NIO线程与业务处理线程间耦合的关键问题,提出了一种基于Kafka的物联网终端服务系统设计方案。从数据处理模块、消息中间件模块和业务处理模块三个方面进行优化。该方案结合了 Kafka消息中间件,使Netty的NIO线程和业务处理线程解耦,以解决因Netty的NIO线程被业务逻辑阻塞而导致终端请求堆积的问题。本文还提出了一种线程池调优技术,通过优化线程池容量的计算方法,得出系统的最优线程数,并将此线程池技术应用于Kafka的消费者端,极大的加快消费者的消息处理速度,防止消息中间件出现消息堆积现象。搭建仿真实验,与传统的Netty和kafka服务器系统方案相比,本文方案在高并发情形中,在平均响应时间和吞吐量两个方面都有很大的优势。(3)针对原生Kafka消费者集群的负载均衡算法中的不足,提出了一种自适应的负载均衡算法,该算法通过实时监测CPU、内存和带宽的利用率计算出系统总的资源利用率,根据资源利用率进行负载均衡。实现本文算法并进行仿真实验,结果表明:本文算法相比原生算法更加节省系统资源,且适用于性能配置差异较大消费者集群。本文的研究成果提高了 Netty物联网服务器系统的整体数据处理能力,并增强了系统数据处理过程的可靠性和鲁棒性。根据本方案设计的系统已投入智慧校园项目中使用,在实际场景的应用中未出现数据交互不稳定情况,且系统运行效果较好。可以为其它物联网服务器系统的开发提供参考。
其他文献
中国社会正经历从传统走向现代的深刻转型,在全面建成小康社会的决胜阶段,政治体制改革也将继续稳步推进,保障公民有序参与到民主政治的进程中。正因如此,党的十八届三中全会
随着互联网的极速发展,人们获得信息的方式不单单通过现实生活,更多的是以网络的形式。网络信息在日常生活中带来了巨大的便捷性却离不开文本分类技术的发展,如何将大规模杂
近年来,随着互联网,大数据等超大信息量技术的不断发展和进步,人们对个人信息安全性,保密性,对信息的交互的公平性有了进一步的要求。信息安全方向研究是对信息和数据保护的重要手段,是目前保障网络健康有序发展的重要课题,公平秘密共享作为其中的一个重要分支,在各个领域有着广泛的应用。公平秘密共享主要解决的问题有:一是共享秘密的可恢复性,即秘密最终一定是可以被恢复出的。二是共享秘密的安全性,即如果不是秘密份额
桥梁建筑作为一种钢筋混凝土结构在施工过程与服役中的安全性监控非常重要,及时发现桥梁建筑体中存在的受损隐患,并提前预警是避免发生生产事故的重要环节。传统的监测方法多
筒子纱易储存运输、可小批量生产,相比绞纱而言在纺织领域的运用更广泛。筒子纱的卷绕质量影响着后续整经工艺和染色工艺,衡量筒子纱卷绕质量的基本指标之一是筒子纱的平均卷
随着互联网产业的快速繁荣,用户对网络环境的要求也越来越高。网络设备不断地更新换代,种类愈加多样,功能也逐渐全面。传统的网络设备部署在网络中的特定位置,网络功能和网络设备牢牢地绑定在一起。每当出现新的网络功能需求时,就需要开发新的专用硬件设备,这需要消耗大量的资金成本和运营成本用于增加和维护新的通信服务。网络功能虚拟化作为一种新兴的技术,其基本思想是对专用网络设备进行软件与硬件的解耦,将网络功能与网
群体软件开发(又称软件众包或众包)是一种新型的软件开发方式,消除了对开发人员地理因素上的限制,采用群体研发、群体竞争的方式来完成复杂任务的开发工作。它可以在很大程度上利用各种人力和物力,降低生产成本,因此近年来受到越来越多的关注。目前现有的众包网站,如Upwork、Amazon Mechanical Turk、Topcoder、CrowdFlower、Taskcn等,基本都是通过用户设置搜索过滤条
刺绣作为中国传统的手工技艺,是非物质文化遗产不可或缺的一部分。本文针对苏绣、蜀绣、粤绣、湘绣以及青海地区特有的土族盘绣五类刺绣图像,利用深度学习的方法根据每种刺绣
膜生物反应器(Membrane Bioreactor,MBR)是膜分离技术与生物处理技术有机结合的新型态废水处理系统,其具有占地面积小,出水质量高、产生废料少、管理操作方便及可去除氨氮等
软件即服务(Software-as-a-Service,SaaS)是一种新型的软件布局模型。SaaS软件拥有部署简单、租费低廉和无需维护等特点,已经成为广大中小型企业实施信息化的最好途径。汽车及零部件产业SaaS平台为租户提供了整车销售、采购、库存、客户管理、零部件销售等一系列的服务。平台客户根据自己的需求进行租用相应的软件服务。平台运营方需要在平台门户上对提供的软件服务进行展示、开通试用服务,并