云队列:一个基于Hadoop的大规模消息基础平台

被引量 : 9次 | 上传用户:cactusspine
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网和物联网技术的发展,数据呈现爆炸式的增长,使得为了处理这些海量的数据,需要构建更加庞大、更加复杂、更加灵活的分布式系统,系统间的通讯与协作就变得至关重要。面向消息的中间件(MOM)利用高效可靠的消息传递机制进行平台无关的数据交流,屏蔽了不同系统之间的软硬件的差异,使得不同系统间的通信和数据交换透明化。但是,随着物联网的发展,更多的设备需要接入互联网,传统的面向消息中间件显然在规模和可靠性方面已经不能很好地满足当前大规模、跨数据中心的分布式系统间通讯的要求。Hadoop是一个开源的云计算开发框架,是一个在由通用和商用计算设备组成的大型集群上执行分布式应用的框架,可以为应用程序提供稳定可靠的接口,构建一个具有高可靠性和良好扩展性的分布式系统。本文基于从当前分布式系统消息通信的需求出发,并结合Hadoop云计算平台,提出了一个面向Internet规模的、高性能和高可靠的消息队列服务平台——云队列(Cloudqueue)。通过云队列平台所提供的消息服务实现异步通讯、存储转发、可靠传输、跨互联网等特性,云队列可以在云计算时代为应用程序提供高性能、高可靠、大容量的面向互联网的消息传递服务。文章从现实需求出发,在分析了消息中间件的相关基础知识和Hadoop关键技术的基础之上,提出了云队列系统的设计目标与整体架构,然后,通过分析相关的关键技术,提出了云队列的技术架构和对象模型。最后,本文详细地介绍了云队列的具体实现和相关接口的定义。最后,通过实验和分析,证明了本文提出的云队列系统比传统的消息中间件集群系统,有着更高的性能、可靠性和伸缩性。
其他文献
从微元法出发,结合物理和化学的思想,证明了圆的面积公式A=πR2,这对学习定积分解决实际问题有一定的启发性,也对新课程模式下数学教学有一定的指导意义。
<正> 现行初中《动物学》课本中提及的贝类一共16种。其中鲍鱼、宝贝、鸡心螺、田螺、竖琴螺和榧螺等7种是腹足纲的动物,而珍珠贝、三角帆蚌、蚶、牡蛎、扇贝、贻贝和蛏等种
花岗岩同位素地球化学是探讨块体基底属性的重要手段,柴达木和欧龙布鲁克地块中两印支期岩体(香日德岩体和察汉诺岩体)的主量元素、微量元素和Pb-Sr-Nd同位素研究表明,两岩体
<正>2015年1月27日,某公司移动终端应用"×Wi Fi"发布,声称其用户2015年全年可免费使用Wi Fi,先到先得;1月22日,某生活类门户网络也宣布与另一应用"Wi Fi×钥匙"开展战略合作
科技的进步为远程抄表的发展提供了技术支持,居民生活水平的提高以及高效的三表数据管理系统产生了对远程抄表系统的需求。针对用户的具体需求以及当前远程抄表系统存在的不
能源是世界城市化发展进程的动力基础.是世界城市增长的必要条件。城市化进程中的每一次进步、每一个成就,都与能源消费结构的更新、能源使用技术的进步密切相关。
在国家经济快速发展、国家综合国力不断提高背景下,贯彻落实《全民健身条例》,把中国从体育人口大国转变为体育强国是当下燃眉重任,也是一持久战略目标。大力发展公共体育事
气液两相流广泛地存在于工业生产过程中,其参数测量具有重要的科研价值和工程意义。目前,在小管道气液两相流的流动机理等方面还缺乏系统的理论,其参数检测的研究工作还处在
随着通信技术、网络技术和用户需求的发展,“互联网”的概念和涵义已经并且突破传统意义上基于PC的模式,向多样化终端、多手段接入、多媒体应用的下一代网络演进,这种网络架
在《资本主义与历史学家》这本论文集中哈耶克为这本书写了一篇长篇导言,其中有这么一句话:“不过,在所有这些神话中,有一个最离谱的超级神话,人们一直用它来贬低令我们当今的文明