基于低冗余迭代模式的高效图处理系统

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:wajohn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图数据结构是对现实世界某些场景下的一种抽象形式。在图上进行图计算,对图进行分析,是分析现实场景的一种重要的手段。目前出现了很多进行图算法计算的图处理系统。现有的图处理系统主要采用同步迭代或异步迭代模式。然而,这些传统的迭代模式受到迭代收敛的木桶效应的影响,存在大量计算冗余。在大数据时代,大规模的图数据使得计算冗余量非常巨大。造成图处理系统处理速度缓慢,浪费了大量的计算资源。基于SCC-DAG(Directed Acyclic Graph composed of Strongly Connected Components)的迭代模式,将图数据抽象成SCC(Strongly Connected Components)组成的DAG(Directed Acyclic Graph)结构,以SCC为迭代计算单位,按照DAG顺序进行计算,减少了大量的计算冗余。基于SCC-DAG迭代模式的高并行核外图处理系统,是SCC-DAG迭代模式的实现。一方面,实现了SCC-DAG迭代模式的并行化处理方案。采用level算法实现了SCC间DAG的并行,采用以路径为中心图数据组织形式实现了SCC内部的并行,同时区分不同大小的SCC实现了负载均衡。另一方面,实现了SCC-DAG迭代模式的核外计算方案。采用内存映射的方案实现了对大量数据的高效访问。采用基于SCC-DAG的顺序存储结构和压缩策略,减少了I/O数据量,提高了系统计算性能。实验结果表明。基于SCC-DAG的迭代模式能够有效减少传统迭代模式的计算冗余。基于SCC-DAG迭代模式的高并行核外图处理系统有着很好的多核拓展性,在能够进行核外计算的同时,有着更少的I/O数据量和更快的计算速度。与目前主流的图处理系统相比,有着可接受的预处理时间和较大的计算速度优势。
其他文献
随着大众物质生活的不断提高,精神文化需求不断增加,收藏活动逐渐成为大众喜闻乐见的重要文化生活,收藏鉴宝类节目应运而生。自1999年起,各大电视台相继推出收藏鉴宝类节目,央视凭借权威性与影响力,推出的一系列《鉴宝》《寻宝》《我有传家宝》收藏鉴宝类节目备受广大观众喜爱,这与央视节目制作的专业性与品牌效应密切相关,同样也离不开其自身的创意因素。本文以央视收藏鉴宝类节目为研究对象,采用案例分析和对比分析的
近年来,伴随着我国金融业务的不断发展,影子银行业务已经扎根于金融市场的各个层次,其规模也在逐渐增长。由于其经营的业务具有高杠杆率、期限错配、规避监管的三大本质特征,因此这些特征极易造成商业银行的违约风险。再者,我国影子银行业务与商业银行业务息息相关,我国商业银行经营的安全性容易受到部分违约业务的影响。另一方面,商业银行是我国金融市场发展的中流砥柱,商业银行的不稳定势必会给我国当前经济发展带来不利的
主题党日是基层党支部推进"两学一做"学习教育,积极做好党性锻炼的常态化载体,如果开展好主题党日活动,基层党支部能更好地对党员学习、工作上实施管理。但是,很多基层党支部
产业竞争力一直以来都是各国关注的要点,尤其在经济全球化时代,产业竞争力给国家和企业带来的可持续竞争优势,成为其在竞争激烈全球市场中立足的重要部分。其中,农业产业作为国家和地区产业竞争力的重要组成部分,在农业现代化社会,也越来越受到重视。但与传统产业不同的是,由于农产品具有一定的区域和产地特征,消费者在消费过程中,难免受到地域和产地特征影响,尤其对于地区特色农产品来说,更是如此。因此,理论方面,原产
伴随着城市建设的不断发展,铁路与公路的交叉通行也日益频繁,箱涵顶进法由于具有地层干扰小、适用范围广等突出优势已成为穿越既有交通线路工程中的重要施工方法,特别是大断面、长距离箱涵顶进工程已逐渐成为常态。其中随着结构断面与跨度的增大,结构所面临的受力情况及与影响因素也变得更为复杂,这给工程施工及运营都带来了巨大挑战。针对当前国内对于大断面箱涵顶进工程研究相对较少,特别是对于顶进施工过程鲜有涉及的现象,
Whirly蛋白是植物所特有的双定位的转录因子,它可以响应环境刺激,并调控细胞核基因的表达来使植物对逆境产生一定的抗性。温度胁迫是番茄栽培中的主要障碍因素之一,探讨Whirl
综述了近年来茶叶中农药残留测定的前处理技术,如固相萃取法、QuEChERS法、基质固相分散萃取法以及其他新方法,对茶叶中农药残留测定的前处理方法的发展进行了展望(引用文献5
奇台、巴里坤具有生产啤酒大麦的得天独厚的气候条件,大麦灌浆期气温低,收获季节降雨少,所产大麦籽粒饱满、粒色好、品质优良。
针对目前政府部门对社会提供数据服务内容和渠道单一,而老百姓的日常生活又切实需要方便快捷地获取政府提供各类相关信息的问题,设计并且实现了基于移动终端的智慧城市信息服务平台。采用XML Web Service和开放式的SOA架构进行设计建设数据资源管理子平台,实现了对数据的统一采集、处理和存储;基于.net开发信息服务子平台,按主题对数据进行组织分类;然后采用html5开发工具实现在移动终端上的APP
胎膜早破是指在临产前胎膜自然破裂。妊娠达到及超过37周岁发生者足月胎膜早破。未满37周发生者为未足月胎膜早破。足月单胎发生率为87%,未足月胎膜早破的发生率为2.0%~4%[1]