地理分布式的性能和费用优化图处理方法研究

来源 :深圳大学 | 被引量 : 0次 | 上传用户:wqh4975156
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着虚拟化技术的快速发展,基于虚拟化技术的云计算平台的构建现在越来越完善。越来越多的人使用云平台完成任务部署。由于用户的全球化,区域化趋势变得更加突出,近年来基础设施提供商倾向于在多个国家和地区部署数据中心。图处理是一种适用于各种应用的新兴计算模型,图分割对于优化图处理作业的费用成本和性能非常重要。随着移动互联网和社交网站的兴起,许多服务提供商改变了服务器自给自足的运营模式,通过租用分布在多个地区的基础设施供应商的数据中心虚拟机,并将许多图应用程序(如社交网络)的数据存储在地理分布式数据中心上,以便在全球范围内为用户提供低延迟、高质量的服务。由于图的流量异构性和地理分布式数据中心的多级网络异构性,对现有的图分割方法提出了新的挑战。本文中,我们首先在当下使用广泛的Microsoft Azure云平台的四个不同的数据中心租用使用较广泛的四种类型实例,对每类实例进行连续一周的测试,研究云平台的网络带宽特性以及网络价格特点,以及对Amazon EC2云平台进行相应测试。其次,我们根据GAS图处理模型建立了地理分布式平台下图应用的数据输出时间和费用模型,在此基础上,我们提出了一种具有地理感知的图分割方法Geo-Cut,旨在最小化地理分布式图处理的数据传输时间,同时满足数据传输费用的预算约束。Geo-Cut算法分为两个阶段。首先,我们提出一种优化的流式启发算法,通过一次流式图分割方法快速将边分配到不同的数据中心,同时获得最小化的数据中心间数据通信成本。其次,在第一阶段的初始图分割基础上提出了分区重映射优化方法和边移动优化方法。这两种方法分别通过将图分割结果重映射到不同数据中心和将边移出成为分布式图处理性能瓶颈的数据中心。对第一阶段获得的分区结果进行优化,减少数据中心数据传输时间,同时满足预算约束。由于其轻量级运行时间开销,Geo-Cut算法也可以应用于动态图分割,并取得较好的图分割结果。最后,在真实云环境和仿真实验云环境下,我们将Geo-Cut算法与四种流行的图分割算法进行对比,并在数据中心的数据传输时间和数据传输费用两个方面对实验结果进行详细分析,评估Geo-Cut算法的效率和有效性。最终数据评估结果表明,与最先进的图分割方法相比,Geo-Cut算法既可以减少数据中心数据传输时间,又能降低数据中心数据传输费用。Geo-Cut算法可以将数据传输时间减少高达79%,数据传输成本降低高达75%。
其他文献
核退役工作中,拆除机器人通过快换装置可以换装破碎锤、液压剪和抓斗等工具,以对核设施进行破碎、剪切和搬运等工作,是目前代替人工进入辐射环境对核设施进行拆除解体的主要
数据挖掘是一门实用的学科,它根据具体问题应用具体方案,在繁杂的数据中找到规律,给问题的研究人员提供决策辅助。图论是一门研究客观世界中事物间联系的学科。两者相结合,就是希望通过图模型找到具体解决方案,挖掘出客观世界中数据的客观规律。当今社会,越来越多的数据可以抽象成网络结构,从而在图论领域的数据挖掘问题也越来越多,其中就不乏在二分图领域的数据挖掘问题,前人也在这一问题上获得了许多研究成果。本文研究的
伴随着信息的高速传播,经济的快速发展,计算机互联网技术在诸多领域都得到了十分普遍的应用,上世纪七十到八十年代,计算科学进入了教育领域,计算机科学运用在教育中,对传统教
多载频相位编码信号具有众多优良特质,如高分辨、低截获、抗干扰等,因此对这种信号进行系统的性能研究分析是很有必要的。本文是以多载频相位编码信号的信号特性分析以及信号
高超声速推进技术由于其重要的战略地位,在世界各国内得到广泛的研究,随着其技术的日趋成熟,对超燃冲压发动机的智能管理体系提出现实的需求,具体表现在对内部关键参数的测量
高速钢已广泛用于工具、模具、轧辊等行业,随着工业发展,碳与合金元素的含量不断增加,组织中碳化物形貌也由网状向球状不断演化。然而传统工艺制备高速钢存在组织粗大,碳化物
自动摘要作为一种文本解析的重要工具,它可以从海量数据中提取出文本的主题信息,实现从冗余文本到简洁文本的快速转换。得益于深度学习技术在自然语言处理(Natural Language
图像作为信息的主要来源之一,影响着人类社会的生产和生活.在图像拍摄过程中,通常成像设备会受外在环境影响,如物理器件和拍摄者与被拍摄物体之间的相对运动等,导致所得图像
支持向量机对分类问题的有效解决能力,吸引力了大量科研工作者的关注.对支持向量分类器模型的应用改进,成为了新的研究方向和关注领域.由于分类问题样本数据集存在线性不可分
当下社交网络高速发展,各类信息数量成指数式的爆发增长,人们生活,社交,娱乐,阅读更加依赖于社交网络。为了满足人们日益增长的快速获取信息的需求,互联网中诞生了诸如微博,