基于Ignite的图计算系统设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:a57556836
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图数据库用于存储和查询图数据,凭借自身对关系的高效的处理能力,在金融行业、社交网络、知识图谱以及网络监控等领域有广泛的应用。在大数据时代下,数据的高价值更多地体现在其背后隐藏的信息。图数据库系统GDM希望为用户提供有关图数据的全方位的解决方案,而它缺乏对图数据的分析处理能力。目前,用于对图数据分析处理的图计算系统是单独存在的,计算前后的数据迁移为用户带来不便。因此设计并实现一个图计算系统,能够对接GDM,提供对图数据的分析处理能力。实现的图计算系统以Ignite开源框架为基础,利用其提供的数据存储和并行计算能力,能够对图数据进行装载和计算。系统包含五个功能模块:数据分区与装载模块用于对外部的原始图数据进行转换,将图数据划分后以键值对的数据组织形式装载到Ignite集群中;用户接口模块定义了用户需要实现的顶点程序接口,使系统能够对接GDM,实现用户能够以一种常用的图查询语言访问图数据,传递并执行图计算任务;计算流程控制模块是计算的核心模块,实现GAS(Gather Apply Scatter)图计算模型,采用以顶点为中心的遍历模式,调用顶点程序完成对图中所有顶点的多次迭代处理,在处理过程中加入同步控制保证图计算任务的正确执行,最终完成对图数据的更新,得到图计算结果;消息通信模块提供对计算流程控制模块的支持,用于图计算过程中顶点产生的更新消息的收发和缓存;计算结果合并与持久化模块用于对图计算结束后得到的更新图数据进一步合并计算结果,得到最终整体的合并结果,并将所有结果写入磁盘。对设计实现的图计算系统进行功能测试和性能测试,通过对实验结果的分析表明系统能够对接GDM,完成图数据的分区装载,正确执行图计算任务。在小规模集群上的性能表现符合预期的设定,满足对图数据进行分析处理的需要。
其他文献
三农问题是关系国计民生的根本性问题,深受党中央的高度关注。十九大报告明确指出解决好“三农”问题是全党工作重中之重,要实施乡村振兴战略以实现农业强、农村美、农民富,乡村全面振兴的良好局面。作为现代经济的核心,金融同现代经济的增长及经济结构的调整紧密相连。解决“三农”问题,实现乡村振兴必然需要农村金融作为重要的引导和支撑力量参与其中。四川作为西部经济大省、农业大省、人口大省和民族大省,人口多、底子薄、
学位
为推动金融机构资产管理业务规范化发展,促进资产管理行业标准相统一,高效规避金融风险,助力于实体经济稳步迈进,2018年,经中央全面深化改革委员会审议通过,央行、银保监会、证监会、国家外汇管理局等四部门于4月27日发布了《关于规范金融机构资产管理业务的指导意见》(银发[2018]106号文,以下简称《资管新规》),本次资管新规的发布,其核心思想就是通过打破刚性兑付来实现金融去杠杆进而实现实体经济去杠
学位
学位
随着我国交通运输行业的迅猛发展,桥梁用钢板的需求量必然会大幅增长,在这种背景下,高等级、高要求桥梁钢的使用成为必然选择。为了顺应桥梁行业的发展要求,本文通过参考现有的标准,设计出了两种不同成分的耐候桥梁钢,并在此基础上进行试制。对其显微组织、力学性能和耐候性能方面进行了研究。本文主要研究结果如下:(1)研究了耐候桥梁钢在连续冷却过程中相变行为的影响,为试验钢获得所需组织提供合理的冷却制度。结果表明
政治协商孕育于中国历史文化传统中,有着鲜明的中国特色。在历史传统中,我们就注重协商议事,注重民主公议。在《尚书·周官》中周王就对群臣提出了议事的要求。同时,中国古代还有着丰富的协商议事的形式,如廷议,谏议,清议,乡议等。协商式政治传具有着独立于行政体系之外的倾向和制度化的特点,与今天的政治协商制度有着诸多相似,在古代“和合”等文化思想的影响下一脉相承。中国特色政治协商在对传统优秀政治文化继承的基础
突发公共卫生事件,尤其是突发传染病性公共卫生事件,是我国应急管理体系中需要重点防范的一类应急事件。突发公共卫生事件的应急处置,是突发公共卫生事件全过程中最重要的环节之一。现如今,在人员跨境流动、贸易跨境往来频繁的全球化背景下,在面对突发传染病性公共卫生事件的应急处置时,稍有不慎不仅会影响我国社会公共安全,也会对社会经济产生一定的影响,进而引发一系列的连锁反应,造成人民群众严重的生命财产损失。突发公
如今,每天都有大量新的恶意软件涌现,利用自动化分析系统进行恶意软件动态分析比以往更为需要。自动化分析通常在沙箱环境中运行样本,以防止损坏或感染分析环境,同时可获得更高权限的观察。然而恶意软件开发者总是通过隐藏恶意软件的真实行为来来逃避沙箱检测,各种逃逸技术层出不穷。因此,反沙箱对抗技术的研究价值越来越高。首先,基于动态分析的反沙箱对抗技术利用Intel PT(Intel Processor Tra
长期以来,各种环境下的人体行为识别都具是有吸引力和现实意义的领域。比如,对人体在日常工作中行为产生的各种信号的有效监测和对身体健康状态的检测相互关联。心冲击图(ballistocardiographic,BCG)信号是一种反映人体体表随心室收缩产生的变化与振动的信号,能够提供信息以分析人体的机能和活动状态。BCG信号同时还含有多种干扰源,这些干扰源通常来自人体和外界的各种物理活动,因此也可用于检测