面向收敛型图应用的GraphX数据缓存优化技术研究

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:anyjz
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
Graph X是目前广泛使用的分布式图处理系统。收敛型图应用是一类典型的图分析应用,其特点在处理过程中,迭代轮次间活跃的图顶点规模呈现逐渐缩小的趋势,且任意顶点一旦从活跃状态转为非活跃状态,则保持非活跃状态直至应用结束。Graph X既有数据缓存机制在收敛型图应用迭代处理过程中,将海量不再参与计算的边数据进行缓存,降低了缓存空间的有效利用率。在内存配置受限的场景下,系统无法完整缓存数据,增加了数据重计算开销。在内存配置充裕的场景下,内存中缓存了大量不再参与计算的边数据,造成了内存资源的浪费。针对上述问题,本文提出面向收敛型图应用的数据缓存优化技术。该技术的核心思想是,在内存配置受限的场景下,过滤应用不再参与计算的边数据,使应用能缓存计算所需的图数据,减少数据重计算开销,提升应用执行效率;在内存配置充裕的场景下,动态迁移分区数据,集中缓存图数据,释放多余的任务执行器,提升Graph X系统的计算与存储资源利用率。本文的主要贡献如下:1)提出一种面向收敛型图应用的Graph X缓存数据过滤机制GDCO。GDCO将收敛型图应用运行过程中不再使用的边数据定义为过期数据。针对内存配置受限的场景,GDCO在实时监测过期数据的基础上,通过以顶点为中心的间接标识机制,标识应用运行过程中的过期数据;并选取活跃顶点规模显著减小为时机,进行过期数据的过滤,从而降低图数据过滤的性能开销,保障计算所需图数据的缓存完整性,提高收敛型图应用的执行效率。2)提出一种面向收敛型图应用的Graph X缓存数据动态迁移策略CGDM。CGDM针对内存配置充足的场景,以图数据迁移规模最小化和节点间点、边数据缓存规模均衡化为目标,利用粒子群算法,启发式选取数据迁移优化方案,实现图数据的集中缓存,释放多余的任务执行器,并平衡各任务执行器间的计算负载,从而在保障图应用执行效率的同时,提升Graph X系统的计算与存储资源有效利用率。3)基于Graph X系统完成GDCO和CGDM的实现。在Standalone部署模式下,进行了性能测试。测试结果表明,在内存配置受限的场景下,采用GDCO机制可使典型Graph X收敛型图应用的执行时间最大降低88.53%;在内存配置充足的场景下,采用CGDM技术可使典型Graph X收敛型图应用的累积内存使用最大降低56.99%,在多应用场景下,可使应用的平均周转时间最大降低14.3%。
其他文献
随着我国经济和资本市场的快速发展以及城镇化改造和房屋商品化进程,房地产业呈现高速增长的态势。特别是“粤港澳大湾区”规划的颁布,使房地产业遇到了前所未有的发展机遇。但在中央住房不炒的大方针下,未来大湾区需要的是具有产城融合能力的开发商,这使房企不可避免地进入黄金发展和产业转型期,面对更加激烈的竞争环境,股东们也愈发重视企业的经营绩效。可是,当前房企大都采用以净利润为核心的绩效评价方法,并未考虑权益成
本毕业设计是一篇人物特稿报道,这个人物是一个通过帮助那些欲堕胎又不想堕胎的女性生下意外怀孕的孩子,来挽救无辜生命的和尚。本文以他救助的一位典型女性为主要线索,将他
内生于市场经济的证券市场,其落脚点是为了促进经济发展。在价格机制的作用下,证券市场具有资源配置、投融资、产权界定等功能。这些功能的发挥必须依赖市场的健康运行。作为
本文在分析国有商业银行履行社会责任现状的基础上,以中国银行为案例,围绕社会责任理念的形成与发展、社会责任的实践状况进行深入研究,同时,比较与借鉴其他四家国有商业银行和两家国外先进商业银行履行社会责任的经验,发现包括中国银行在内的国有商业银行履行社会责任存在以下问题:追逐利益最大化的导向仍占主导地位、服务普通民众的意识仍需提升、社会责任战略没有深度融入公司治理机制、管理体系不完备、社会责任履行信息披
本文从歌曲的曲体结构、音乐艺术、歌词韵律所表现出来的艺术特征对集体创作版本的井冈山民歌《八角楼的灯光》做了一个比较系统和全面的分析与阐述。在帮助自己更好把握井冈
2013年习近平主席提出的“一带一路”建设得到了沿线周边70多个国家和地区的积极响应,在这些国家当中,有很多是已加入《纽约公约》的伊斯兰国家。然而,由于伊斯兰国家“宗教
目的:探讨三维超声在早孕期侵入性胎盘(PA)中的诊断价值。方法:选择在我院进行早孕期(11-13+6周)产前超声检查并至少有一次剖宫产史或宫腔操作史的58例孕妇为研究对象。产前均行常规和三维超声检查,常规超声检查中包括二维灰阶超声和二维彩色多普勒超声,三维超声检查包括超声断层成像(TU I)、三维能量多普勒超声(3D PDUS)。回顾性分析其临床资料和超声征象,利用4D view软件计算3D PD
随着多媒体信息在我们生活中的广泛应用,人们越来越重视知识产权的保护。数字水印技术是保护知识产权的有效途径之一,数字水印的安全性一直是人们研究的难点与热点。本文阐述
语文是一门引人入胜的课程,有着丰富的内容和深厚的文化底蕴。汉语水平对藏族学生现在的学习及今后的发展都非常重要,而实际藏区藏族学生在汉语学习方面困难较多,集中表现为学生对语文学习的兴趣不高,口语表达普遍不太好,尤其是学生在书面写作的问题尤为突出。因此写作对于藏族学生能力的培养来说十分重要。通过对案例学校的实地调查,对汉语写作教学现状、存在的问题进行深入分析,并分析导致在汉语写作教学中产生问题的主要原
随着中国经济的持续发展,人们的收入迅速增长,与此同时,人们更加关注自身的健康和安全,对于保险业务的需求也在不断的增长。当前社会,人们对于人身安全与财产安全有着更加深刻的认识,也更愿意花费相关的费用,来购买保险。特别是人们对于人寿保险购买热情的不断提高,极大的推动了中国保险市场规模的不断扩大。保险公司要更好的开展保险业务,就需要加强针对客户关系的管理。本文在研究过程中,运用客户关系管理理论,对Z人寿