一种高吞吐分布式消息中间件的设计与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:long5139
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网应用的不断发展和完善正在推动企业项目从传统的单体架构向微服务架构转型,将集中式的系统按照业务特点垂直拆分成多个规模相对较小的独立服务,可有效降低系统的运维成本,提高版本迭代的开发效率,每个服务单独部署的方式也带来了灵活的集群规模调整方式,使得系统弹性扩容变的更加轻量级。伴随系统垂直拆分而来的还有各服务之间的网络通信需求,消息中间件就是一种为不同系统或同一系统内不同模块提供可靠的异步网络通信的分布式框架,接收来自上游服务的消息,存储后转发给下游服务,在系统架构中起着承上启下的作用。然而在企业实际生产使用中的主流消息中间件产品还存在着抗消息堆积能力差,负载能力弱以及弹性扩容能力差等问题。针对以上问题和企业在生产应用中的实际需求,本文设计并实现了一款高吞吐消息中间件Whale MQ,能够在正确实现消息传递的基础上允许海量消息的存储和堆积,提供高效稳定的性能表现,本文的主要研究内容和成果如下:(1)针对Kafka在架构设计上的问题和缺陷,本文提出如下优化方案:基于关系型数据库设计并实现中间件的路由中心(Meta Server),提供服务注册,集群健康状态监控和路由动态发现等服务;设计基于队列文件的消息持久化模型以平衡Kakfa高性能与稳定性的关系,并引入二级缓存结构来实现消息的批量存储,减少中间件与磁盘之间的IO次数;设计灵活的消息消费模型和队列动态映射机制,提高中间件的弹性扩容能力;(2)基于本中间件中各模块通信需求定制轻量级的网络通信协议,遵循约定大于配置的原则,在尽量压缩协议信息在数据包占比的同时兼顾协议的可扩展性,允许业务方灵活扩展,实现通信的定制化,最后引入Netty框架实现高效的网络通信模块;(3)对本中间件进行功能,性能和可靠性三方面的测试和分析。功能测试主要用于验证本中间件的基本功能是否正确可用;性能测试用于测试本中间件在异步落盘异步复制等八种实验场景下的负载能力和吞吐量,并与高吞吐消息中间件Kafka进行对比,实验证明本中间件在两主两从标准部署架构下单主题(Topic)发送TPS(Transactions Per Second)可达到46K,能够满足绝大多数应用场景的需要,且性能随Topic数量提升变化不大,表现稳定;可靠性测试对比了本中间件在多机房部署方式下的容灾能力,实验效果符合预期。
其他文献
随着监控系统的快速发展和普及,摄像头的覆盖范围不断扩大,监控视频数据迎来了爆发式的增长。大数据技术的出现能够很好地解决用户对监控数据存储的需求,但是对于监控环境中逐渐增长的人体异常行为监察需求却无法满足,因此,如何利用视频数据分析监控环境中人体的行为,并建立模型检测人体的异常行为已经成为了研究的热点。视频中人体行为的分析通常首先提取人体的行为特征,然后基于人体行为特征对人体的异常行为进行建模分析,
纹理触觉是人与物体接触时,对纹理表面凹凸不平的属性的触觉感受。纹理触觉作为人对客观力触觉刺激的感受,对其感知特性和规律的研究,对于实现具有真实感的力触觉再现和精准遥操作具有重要指导意义。以往的纹理触觉感知特性的研究多是选取纹理样本进行主观感知实验,测量在某种纹理物理特征及不同水平下(如纹理高度、空间周期、颗粒度等变化),人主观纹理粗糙感强度的变化规律。而纹理触觉感知是客观刺激与主观感知多输入/多输
我国心血管疾病的发病率逐年升高,同时死亡率位居各类疾病首位,其中部分心脏疾病与心脏运动功能异常密切相关。在准确跟踪心脏运动轨迹基础上,能够分析心脏运动功能,诊断心脏疾病。传统的心脏运动跟踪方法速度慢、效果不够突出,不适合临床应用,心脏疾病分类也需要手动提取心脏形态学特征,不便于计算机辅助诊断。近年来,深度学习特别是卷积神经网络在计算机视觉领域的广泛应用为心脏运动跟踪和心脏疾病分类问题带来了新的解决
钛及其合金综合性能良好,在航空航天和生物医用领域都有着广泛的应用。值得注意的是β型钛合金由于兼具低弹高强的特性,近年来受到了诸多的关注。这类钛合金一般是通过向钛合金中添加Nb、Mo、Zr、Ta等β相稳定元素得到的。但是,结构物理量和杨氏模量之间的相互作用仍然难以捉摸。其中最难解决的问题在于找到影响钛合金性质的关键参数,以及了解这些参数如何对合金的弹性性能起决定性作用。本文采用第一性原理计算和机器学
图像拼接技术的发展已经日趋成熟了,并且也广泛应用到了智能手机拍摄、虚拟现实、航天航空和视频监控等诸多领域当中,其目的都是为了获取到宽视野、高分辨率和观感相对自然的图像。然而目前的图像拼接技术在应用到不同场景时,图像的特征数目相对较少、特征种类单一,且特征分布存在局限性,同时图像对重叠区域中深度不一致。这些问题导致目前的图像拼接算法对于各类场景下的图像配准效果较差,在重叠区域易出现伪影现象。本文提出
磁共振成像(Magnetic Resonance Image,MRI)是一种应用广泛的检查人体内部脏器的现代成像技术。磁共振成像已经被广泛用于临床常规检查诊断,尤其是脑疾病的检测和诊断。脑组织的体积变化往往预示着各种疾病,如脑肿瘤,白质脑病,橄榄脑桥小脑萎缩(Olive pontine cerebellar atrophy,OPCA)等。因此,对脑MRI图像进行精准的自动分割对于临床应用和科学研究
将触觉传感器获取的机器人、可穿戴设备、医疗器械等和外界交互产生的压力、温度等触觉信息以图像的形式表现出来可以形成触觉图像。而目前触觉传感阵列是获得这些触觉信息的主要途径。不同于视觉传感单元(如CCD/CMOS),触觉传感阵列的传感单元具有工作原理多样、尺寸大、读取电路复杂而难于集成等特点。为了提高触觉图像的分辨率,本文进行了基于传感阵列的触觉图像超分辨率算法研究。首先,研究了触觉图像特点;其次,分
城镇化发展过程中,违法用地、违章建筑等问题严重影响社会和谐与可持续发展,土地违法的“早发现、早查处”至关重要。针对以往人工巡查效率低、摄像头监控智能化程度低的现实问题,本文致力于研究违章建筑物自动识别中的监控点图像快速获取、违章建筑变化检测、车辆虚警过滤等关键技术。主要研究内容如下:(1)提出了一种基于金字塔L-K光流法的定点监控虚拟预置位设置方法。针对相机所带预置位不足的问题,首先对视频前后两帧
社会人口老龄化、全民运动化时代的到来,使得中老年骨质疏松性骨折创伤、感染、肿瘤、骨髓炎手术清创、以及中青年各种意外伤害和先天性疾病导致的骨缺损成为临床常见疾病,严重影响了国民身心健康。然而,自体损伤愈合范围有限,传统的针对骨缺损自体、异体骨移植的治疗手段,易产生致命的并发症,因此亟需研发设计成分、构型匹配特定骨缺损的功能型三维骨修复支架,为骨缺损部位提供桥接作用、引导骨的愈合修复。聚己内酯(PCL
在各类室内定位技术中,视觉SLAM具有自主性强、成本低、感知信息丰富等优势。目前,基于单类特征的视觉定位已有众多研究,但在室内弱纹理环境下,受限于对单类特征的高度依赖性,不同类特征间的互补信息未能有效利用、特征融合后的适应性与抗干扰能力不足。因此,融合特征间信息实现弱纹理环境下的高精度可靠定位,是室内视觉定位中亟待解决的问题。针对上述问题,本文提出了一种融合点面特征的视觉定位方法,该方法有效利用室