海量高性能分布式消息系统的设计与实现

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:weiqiwin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能(Artificial Intelligence,AI)、大数据的技术突破,与此同时,伴随着区块链技术的兴起,传统的消息系统已经无法满足大数据情况下的数据传输与通信,无法全部满足分布式集群、高可用、弹性可扩展、消息传递多样化等需求。此外,面对物联网(Internet of Things,IoT)信息交换和通信,迫切需要消息系统具备处理海量数据的能力,并且需要保证系统数据处理达到高性能的要求。当前,大部分消息系统的编程语言都是基于JVM运行环境,这就导致这类系统的运行效率比机器语言编写的系统运行效率要低。而有些满足高性能要求的消息系统,却又不满足分布式处理能力和高可用可扩展的要求。对此,本文以适应物联网发展的需要为基石,研究构建一个海量高性能分布式消息系统。消息系统需要使各个系统之间进行消息的传递和数据的交换,以维持各个系统之间的互联互通。本文研究的系统将在此基础功能之上,构建实现海量存储、高性能数据发送和接受、分布式计算以及高可用。研究的策略主要是分析现有消息系统的瓶颈、系统的实用性、系统是否采用现代化的技术架构、是否适用于大数据量高并发的应用场景等问题,针对这些问题给出可行的设计思路和可实现的技术细节。系统采用高并发的Go语言编写,支持TiDB数据库系统作为其存储引擎,设计上实现分布式计算、简洁高效的通信协议、智能算法、微服务等功能,并且保证数据的完整性和安全性。此外,消息发送的模式更加多样化,支持发布/订阅模式、请求/响应模式、消息队列模式。系统已经成功部署到公司的服务器上,并且经过一系列的测试,测试结果表明系统基本满足设计目标。从功能性要求和非功能性技术指标而言,本系统解决了消息系统所面对的所有已知不足以及已知的技术瓶颈,从而成为真正意义上的现代化消息服务系统。
其他文献
<正>经过两年的修改工作以及与各利益相关方的沟通合作,GRI在五月发布了新的可持续发展报告指南G4版本。鉴于GRI已经成为全世界最普遍使用的企业社会责任报告及可持续发展报
C语言程序设计是计算机专业的一门重要专业基础课程。针对该课程缺乏程序设计思维训练的问题,分析该课程的实践教学情况,提出基于计算思维的实践教学方法,并以软件工程专业为
随着现代化工业化的发展,工装夹具的作用越来越明显,有时对一个产品起到决定性的作用。高效、可靠的夹具可以保证产品质量稳定,从而减少报废及节约生产成本。本文就打印机碳
对于投资企业而言,如何进行正确及有效的股权投资会计核算,很大程度上依赖于股权投资程度。本文通过对股权投资程度的认定,探讨了"重大影响"、"控制"以及"缺乏重大影响"三种
小康不小康,关键看老乡,关键看脱贫攻坚工作做得怎么样。眼下,脱贫攻坚已进入决战倒计时。一鼓作气高质量打赢这场收官之战,坚决完成全面小康路上不落一人历史之责,确保我市与全省
报纸
<正>21世纪的前十年,世界经济变化巨大,全球价值链分工体系逐步形成、区域经济合作的势头不断加强。与此同时,我国改革开放的政策红利、加入WTO的制度红利以及廉价劳动力的资
当前触屏手机大行其道,其吸引受众的缘由是多方面的。在生理和心理层面,它能满足人体皮肤对于"触摸"的需求,实现媒介的延伸。在社会学层面,它对传播途径和方式的革新产生影响
针对双臂机器人在高速装配作业中对精确性以及灵活性的需求,首先从结构与通信两方面介绍了双臂机器人的设计架构,然后建立双臂机器人装配模型,并对装配工作空间与约束关系进
古代中国司法官在很多案件判决中经常不直接援引法律条文,而是以"引经据典"书写判词后作出判决。这彰显出古代中国判词之"引经据典"的诸多特殊功用。具体言之,"引经据典"是一
“新冠肺炎疫情发生后,你们在集团党委带领下,一直坚守保洁、物业等岗位,不少同志主动请战驰援武汉等地的医院,以实际行动为抗击疫情作出了贡献。”在“五一”国际劳动节来临之际
报纸