同构发布/订阅系统的系统最优化与并行查询算法的研究与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:foxdeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
发布/订阅系统是一种提供给信息的生产者和消费者互动平台的分布式中间件系统,其中同构发布/订阅系统的一类应用是易物服务、物品交换等,该系统的目的是使尽可能多的用户参与匹配、提高系统的收益能力,因此逐渐获得了电商的关注。近年来,云计算作为计算平台中一种新型模型出现,覆盖了多数计算领域。云计算的兴起为高效、大规模计算平台的产生提供了可能性。如何在发布/订阅系统中使尽可能多的用户参与匹配并且使系统具有良好的扩展性是发布/订阅系统的追求目标,也是发布/订阅系统的关键技术。本文主要工作包含两部分,第一是针对系统最优化问题设计出高效的算法,找出尽可能多的订阅用户成功参与匹配,另一工作是利用云计算平台的计算资源和技术,设计出具有良好扩展性的发布/订阅系统。针对提高系统中参与匹配用户数目的系统最优化问题,本文应用了兼顾用户满意度的贪心算法和启发式算法。现有的发布/订阅相关的研究中,针对系统最优化问题的研究相对较少。已知在环匹配长度大于等于3的前提下,系统最优化问题是NPC问题,为系统找到一个近似最优解是本文的一个研究重点。而本文主要从系统收益和用户满意度两个角度出发,应用了兼顾两者的贪心算法和启发式算法。其中,贪心算法从考虑用户满意度的角度获取系统近似最优解;而启发式算法中,针对长度为3的环匹配提出了两种归约规则,通过归约规则逐步降低问题规模,并最终获取系统近似最优解。实验结果证明,两种算法执行时间基本相同,启发式算法的结果集中包含的订阅数比贪心算法结果集中订阅数多出9%到24%。针对发布/订阅系统扩展性这一问题,本文提出了基于Twitter Storm的发布/订阅并行框架。目前虽然存在部分有关于云计算和发布/订阅相结合的研究工作,还没有关于实时处理系统Twitter Storm与发布/订阅的整合工作。本文提出的基于Twitter Storm的发布/订阅框架的目的是在大规模数据下,使事件与订阅进行快速的匹配。首先,对于云环境下缺少有效的索引结构,本文针对订阅数据建立基于HBase存储的R-树索引,通过维转换和空间填充技术,可以高效地进行事件的查询匹配。其次,针对事件匹配工作,本文设计框架及算法采用并行查询模式,有效地提高了事件的匹配速度,从而提高系统的吞吐量。最后,通过实验分析,索引结构的存在大大减少数据查询时间,并证明了并行框架的扩展性。
其他文献
本文分析空间光通信平台振动功率谱,发现振动功率主要集中在几个尖峰点附近,用振动功率谱设计滤波器方法生成了通信平台振动数据。以量子理论为基础,把激光能量和各种CCD噪声都
生物特征识别技术是通过计算机利用人类自身的生理或行为特征进行身份认定的一种技术,其主要有两方面的应用:身份验证和身份鉴别。身份验证是确定当前特征是不是当前对象宣称的
在电信网络告警管理中,告警关联系统是很重要的部分,它是用于分析告警数据的专家系统。然而电信网络本身的复杂性导致获取必要的知识来为某个特定网络构建一个告警关联系统十分
视频会议系统是集计算机技术、通信技术和多媒体技术于一体的远程、异地通信方式。早期视频会议系统基于H.323,但实现较为复杂、开发成本高、扩展性和伸缩性有限。SIP具有简单
数据流分类技术是数据流挖掘中的重要组成部分。然而在许多实际应用中,数据的不确定性是普遍存在的,并且随着数据量的急剧增加,传统的集中式的分类方法已经不能有效地学习这
资源空间模型是面向网络资源的具有语义的模型,该模型基于网络资源的分类语义组织和管理资源。资源空间模型利用多维资源空间定位资源,用户在资源空间中浏览、共享和操作资源,提
随着计算机技术的日新月异,一些新的仿生优化算法像蚁群算法得到了迅速发展和广泛应用。论文首先介绍了物流配送车辆优化调度问题等相关概念,接着详细介绍蚁群算法的产生、发
电子病历是实现数字化医院的核心,也是医疗信息系统发展的热点所在。每个县以上的医院都需要建立计算机化的以电子病历为核心的医院信息系统。因此,开发电子病历系统,将现在的中
近几年兴起的小世界网络理论是由物理、数学、行为科学和计算机科学等多学科交叉生成。小世界网络真实地反映出现实中系统的某些重要特性,成为研究现实网络的有效手段,具有广泛
长江河道的采砂船管理工作一直是我国沿江各水政管理单位的“老、大、难”问题。近年来,长江中下游河道乱采滥挖江砂问题越来越突出,采砂船违规作业、破坏堤坝等问题严重影响了