大规模图处理系统的在线分析优化

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:havor
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,大规模图处理系统(如图数据库系统)是高效管理和分析现实生活中图数据的重要软件。然而,目前大数据框架下的图数据库系统一般采用基于CPU的分布式架构来进行数据的在线分析(OLAP),CPU有限的核心数以及集群间的通信开销使得OLAP效率较低。图计算加速器(GPU)拥有众多计算单元且采用了单指令多数据流的体系结构,符合图数据OLAP工作流程的特征,适合用于提高图处理系统的在线分析性能。然而,受到GPU显存空间较小的限制,在其上进行大规模图数据的分析面临相当挑战。针对以上问题,大规模图处理系统RockGraph实现了将图数据库系统与图计算加速器(GPU)相融合的思想,利用GPU提高OLAP的效率。此外,为了解决GPU显存空间较小的问题,优化大图超出显存空间时的在线分析效率,RockGraph进一步设计和实现了多个用于优化OLAP的技术,包括子图提取、图划分、循环计算以及动态调度等。RockGraph系统以传统的大数据系统HDFS和列式数据库HBase为存储层,通过Gremlin语言进行图数据的存储与查询,使用新型加速部件GPU完成大规模图的在线分析计算。使用GPU完成大规模图计算时,该系统能够根据用户需求,从图数据库中提取出包含核心信息的子图。经过数据格式转换后,RockGraph利用JNI工具调用动态链接库,将子图传输到GPU显存中,随后采用GPU图计算框架进行在线分析。若子图超出GPU显存空间,RockGraph则将子图划分为多个分区,随后按照动态调度策略,将分区循环传输到GPU中完成分析计算。最后,该系统将计算结果写回图数据库并反馈给终端用户。实验表明,RockGraph大幅提高了图数据库系统中OLAP计算的性能,且在分析超出显存的大型图数据时仍然能够保持较高效率。相较于传统图数据库采用的分布式图计算系统GraphX,RockGraph图分析的时间性能提高了近5倍。在处理大型图数据时,RockGraph系统在线分析的性能是GraphX的3-5倍,是基于GPU的图计算系统Totem的1.5-1.8倍。
其他文献
锂金属负极具有极高的理论比容量(3860 m Ah g-1)和最低的还原电位(-3.045V相对标准氢电极),在新一代高能量密度存储中具有巨大的应用前景,是锂电池负极材料的最终选择。锂单质易与空气尤其是潮湿空气发生反应而失活,导致电池的生产成本急剧增加,目前的研究都在关注如何提高锂金属在电池中的循环寿命,很少注意到未来锂金属电池进行大规模组装所面临的挑战,现阶段缺少对提高锂金属的空气稳定性经济可行
钛合金零件具有高强度、高耐蚀性、高耐热性等优点,在航空航天、医疗器械、汽车工业等领域发展前景广阔。随着激光技术的发展,选区激光熔化(Selective laser melting,SLM)已成为高效高质量成形钛合金的有效方法。熔池内部湍流等因素会导致SLM成形钛合金零件内部产生不同类型的缺陷,部分缺陷由于体积过小或分布较为集中,给检测和统计带来了困难。本文针对SLM钛合金零件内部缺陷开展无损检测方
在原核生物中,蛋白质磷酸化在许多重要生物学过程的动态调控中发挥关键作用。磷酸化反应主要发生在蛋白质底物的多种氨基酸残基上,包括丝氨酸(serine,S)、苏氨酸(threonine,T)、酪氨酸(tyrosine,Y)、精氨酸(arginine,R)、组氨酸(histidine,H)、半胱氨酸(cysteine,C)和天冬氨酸(aspartic acid,D)残基。通过对NCBI Pub Med数
我国铁路的快速发展和广泛的覆盖范围为铁路运输效率及安全带来挑战。而影响铁路运输安全及效率的主要因素之一是在铁路限界内常发生的行人和轻飘物等异物入侵事件。我国主要以护栏网的形式物理阻拦侵限异物以此得到防护效果,但仍常有异物侵入铁路限界内,导致列车紧急制动,扰乱列车线路运行计划。同时铁路线路多处于半封闭式环境中,铁路上空区域成为防护盲区。铁路沿线附近的风筝,塑料袋等异物常飘入铁路限界内或飘落在接触网的
在过去的几十年中,创业已成为全世界重要的经济和社会发展议题,创业活动提升了全世界的经济效率、创造了大量新的就业岗位、提高了就业率。在中国,当前已形成了大众创业、万众创新的生动局面。中国相关政府部门除了加速拓宽就业渠道,还将毕业生自主创业行为视为减轻压力的方式之一。为此,教育部颁布文件,要求相关高校对于在校大学生提供必要的创新创业指导和教育,充分支持和鼓励毕业大学生创新创业的国家发展战略。德国大学生
行人检测是计算机视觉领域内的一个重要研究方向,并广泛应用于智能安防、智能交通、无人驾驶等领域。但现实场景中背景复杂,行人密集,存在相互遮挡和尺度悬殊的情况,导致SSD、Faster R-CNN等基于深度学习的目标检测方法的检测精度受到很大的限制。因此,本文从深度特征增强、损失函数的改进、多尺度特征融合三个方面进行改进,对提高行人检测精度和环境适应性具有重要意义。本文具体的研究内容可以归纳为以下几点
组织工程使用多孔支架作为各类药物、生物活性因子和细胞的载体,通过替代受损组织,诱导组织再生,实现结构和功能的恢复,通过仿生原理制备出结构和成分高度仿生的组织工程支架是常用的设计方案。本论文针对皮肤和骨的组织特点,基于仿生原理,制备了组织工程多孔复合支架材料,并进行了相关物理化学性能表征和组织再生评价。脱细胞真皮基质(ADM)取材于真皮组织,含有多种生物活性因子,与皮肤组织高度相似,常被用于创面修复
机器阅读理解在自动问答任务中是一项较为复杂的任务。机器阅读理解是通过计算机阅读文本,对文本内容进行理解从而找出或者推理出问题的答案的技术。阅读理解也是人类各种语言的测试题型之一,在人类的高级阅读过程中不仅仅要对原文内容进行理解,更需要有进一步的分析和综合。受益于深度学习技术的快速发展,基于机器阅读理解任务的各种大型数据集的不断推出,使得机器阅读理解任务也有了新的进展。尽管目前机器阅读理解发展的很迅
目的:评估对比三焦点功能性人工晶状体(非球面衍射型)与单焦点非球面人工晶状体植入术后的视力及视觉质量。方法:选取符合条件的白内障患者,共91例138眼,分为两组。A组:术中植入三焦点人工晶体(Zeiss tri 839MP),共42例65眼,其中女19例34只眼,男23例31只眼;B组:术中植入单焦点非球面人工晶体(Akreos Mi60),共49例73眼,其中女25例38眼,男24例35眼。术后
目的:卵磷脂胆固醇酰基转移酶(lecithin-cholesterol acyltransferase,LCAT)缺乏症是一种由基因突变引起的罕见的常染色体隐性遗传疾病,可导致以蛋白尿为主的肾脏损害。本文通过一例典型病例结合文献复习,总结目前对于LCAT缺乏症肾损害临床表现、发病机制、病理特点的认识,以期提高临床对这种罕见疾病的识别和治疗。方法:通过收集我科收治的一例以大量蛋白尿、低蛋白血症和镜下