外存模式图计算系统的性能优化研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sunfor
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图计算是大数据处理领域中一种重要的计算模式,用于解决社交网络分析、商品推荐、道路交通规划等领域中的重要问题。随着互联网、智能终端、社交媒体等技术的发展,图数据规模快速增长,从而给图的存储、访问和计算带来巨大的挑战。为应对这些挑战,系统领域研究者开发出许多图计算系统来管理、分析和挖掘大规模图数据。基于计算平台的不同,图计算系统通常分为三类:分布式图计算系统、共享内存图计算系统和外存模式图计算系统。其中,外存模式图计算系统因其较高的性价比和较好的可扩展性近些年来得到研究者的广泛关注。但因未能充分考虑图算法的访问特征以及内外存等系统资源的利用率,外存模式图计算系统通常面临处理性能差、用户使用体验差等问题。针对这些问题,本文开展了如下研究工作。为解决外存模式图计算系统面临的子图构建开销大的问题,本文提出了基于局部性优化的子图构建方法。这种方法在计算过程中同时维护顶点的入射边和出射边,并将这些边分别按照边的目的顶点和源顶点进行排序。通过这种数据组织方式,系统在子图构建过程中可以实现对顶点和边最大程度的顺序访问,从而充分利用数据访问的局部性提升缓存命中率,显著降低子图构建过程的开销。基于这种子图构建方法,构建了一个高效的外存模式图计算系统LOSC。为了提升系统整体性能,进一步采用了一种基于压缩的边存储方法和基于区间顶点的轻量化拷贝方法来分别提升存储和并行计算的效率。实验结果表明,基于局部性优化的子图构建方法相比现有的子图构建方法,子图构建开销平均降低10.3倍;LOSC相比于具有代表性的外存模式图计算系统Graph Chi和Grid Graph,系统整体性能平均提升6.9倍和3.5倍。为解决现有的外存模式图计算系统磁盘I/O效率低的问题,本文提出了基于应用特征的混合I/O访问和顶点更新策略。这种策略在计算过程中自适应的采用了两种计算模型:基于行导向的推送模型(Row-oriented Push,ROP)和基于列导向的拉取模型(Column-oriented Pull,COP)。ROP模型在计算时选择性的访问活跃顶点和活跃边,避免非活跃数据的加载。COP模型在计算时顺序访问所有的顶点和边,确保数据访问的局部性。系统根据不同图算法的数据访问特征在ROP和COP模型之间进行自适应的选择和切换,从而在I/O数据量和I/O访问局部性之间取得较好的平衡,极大的提升I/O效率。基于这种策略构建了一个高性能的外存模式图计算系统HUS-Graph。为了更好的支持这种策略,HUS-Graph还采用了双向子块的图表示形式和基于I/O开销的性能预测机制来分别提升数据访问的局部性和支持更准确的计算模型切换。实验结果表明,HUS-Graph相比于Graph Chi和Grid Graph,I/O访问数据量分别平均减少18.4倍和8.8倍,整体性能分别平均提升9.4倍和6.5倍。为解决现有的外存模式图计算系统在处理并发图计算(Concurrent Graph Processing,CGP)任务时面临的大量冗余访问和存储开销以及I/O冲突问题,本文提出了面向并发多任务的外存模式图计算模型。该计算模型在处理多个CGP任务时,将图数据划分为多个边块(edge block)存储在磁盘上,并按照统一和固定的顺序依次加载每个边块到内存中进行处理。当边块被加载到内存之后,多个CGP任务可以根据自身的计算特点并发的访问边块和进行顶点更新。通过这种方式,可以将多个CGP任务对图数据离散和随机的磁盘访问转换为统一且连续的访问,从而减少冗余的访问和存储开销以及避免CGP任务对磁盘带宽的竞争。基于这种计算模型构建了一个面向并发多任务的外存模式图计算系统Graph CP。为了进一步提升系统整体性能,Graph CP提出了一种工作窃取策略和基于收益评价的I/O访问模式来克服CGP任务间工作负载的不平衡以及提升I/O访问效率。相比于现有的面向CGP任务的图计算系统,Graph CP利用具有较高性价比和较好可扩展性的外存系统,能够避免现有工作采用分布式系统或共享内存系统所带来的较高的硬件成本和通信开销以及较差的可扩展性等问题。实验结果表明,Graph CP相比于外存模式图计算系统Grid Graph和Graph Z,以及面向并发多任务的图计算系统Seraph,I/O数据量分别平均减少5.3、4.1和2.7倍,系统整体性能平均提升10.3、4.6和2.1倍。
其他文献
超亲水表面因其极低的接触角和优异的亲水特性,在物体表面自清洁、防雾、油水分离等方面有着广泛的应用。随着超亲水微纳材料功能需求的日益增加,对其制备工艺的开发和新应用的探索成为主要研究方向之一。氢氧化铜微纳结构具有优异的超亲水特性,其独特性质和潜在应用已成为研究热点。当前难点主要集中于非铜基底原位制备超亲水氢氧化铜微纳结构的工艺、相关应用性能提升和新应用探索。因此,本文面向超亲水氢氧化铜微纳结构的非铜
卤化物钙钛矿以其优异的光电特性成为制备太阳能电池吸光层的理想材料。从2009年至今,钙钛矿太阳能电池(PSC)飞速发展,效率从最早3.8%提升到目前的25.5%,展示出了巨大的发展及应用前景。本论文聚焦基于TiO2/ZrO2/碳电极三层介孔膜结构的无空穴传输层介观可印刷钙钛矿太阳能电池(p-MPSC)的研究。得益于其独特的器件结构设计,p-MPSC制备工艺简单,材料成本低廉,易于放大生产。由于不使
半导体光放大器(Semiconductor Optical Amplifier,SOA)是波分复用无源光网络中实现光网络单元无色化和波长再利用的主要解决方案之一。受限于直波导结构上的对称性,常规SOA无法很好地实现对下行信号进行擦除的同时对上行信号进行线性放大,因此在基于常规反射式SOA(RSOA)的波长再利用方案中,往往可以看到上行信号眼图明显存在残余下行信号的串扰,这一串扰无疑限制了上行信号的
富勒烯是唯一具有确定分子结构的碳纳米材料,其独特的球形结构内部可以嵌入金属或金属团簇,形成一种被称为“金属富勒烯”的新型金属碳基杂化材料。金属富勒烯不仅具有内部金属和外部富勒烯碳笼的双重性质,而且由于内嵌金属单元向碳笼电子转移有可能表现出一些独特的物理化学性质,因而引起了人们广泛的研究兴趣。迄今为止,研究者对三价稀土金属(Sc、Y、La等)构成的金属富勒烯进行了深入的研究,发现了它们多样性的分子结
背景:特发性肺纤维化(IPF)是一种原因未明的慢性、进行性、纤维化性间质性肺炎,目前其发病机制仍不明确,且治疗方法有限。巨噬细胞在IPF的发病中有重要的作用,而替代激活型巨噬细胞(M2)的形成是导致IPF发生进展的重要因素。研究发现DNA甲基化作为一种重要的表观遗传调控机制在IPF发病中具有重要作用。甲基化Cp G结合域蛋白2(MBD2)负责识别读取甲基化DNA,且有证据表明DNA甲基化与巨噬细胞
基于偏移正交幅度调制的滤波器组多载波(Offset Quadrature Amplitude Modulation based Filter Bank Multi-Carrier,OQAM/FBMC)作为一种非正交调制技术,以两倍于奈奎斯特速率交替发送实值符号和虚值符号,从而在保证数据符号的实域正交性基础上,实现了调制波形的高时频聚焦性和频谱效率的最大化。相比于经典的正交频分复用调制技术,OQAM
声学问题尤其是水下声散射问题是船舶与海洋工程中重要的基础性问题,在海洋渔业,海洋资源开发,海洋运输业和军工领域等众多行业领域中有广泛的应用,因此对声学问题的研究具有重要的学术意义和应用价值。目前,经典有限元法是计算声学领域中最常用的数值算法之一,被广泛集成于主流的商业声学仿真软件之中,但其在中高频率下的计算误差较大,获取准确结果的计算成本较高,因而亟待开发改进的数值方法。本文首先以G空间理论和基于
随着“大数据”时代的到来,光-电数据相互转换的需求也在成倍增加。为了从根本上提升通信容量,需要增强调制器和探测器等基础元件的速率和效率。传统的硅基光子器件难以同时满足低功耗、高速率的需求。新型二维材料,如石墨烯和黑磷等,相对于传统硅基材料具有超宽带光谱吸收、超高载流子迁移率和费米能级可调等独特的性质,适用于低功耗、高速、高效率的光调制器和光探测器。随着二维材料的加工条件逐渐成熟,在硅基光子平台上引
电子具有电荷和自旋两种自由度,利用电荷的热输运性质,可以实现热电之间的相互转换,在能源领域有重要的应用。利用自旋属性,可以实现磁存储,在自旋电子学中有重要的应用前景。热和自旋之间又存在关联,如自旋塞贝克效应和反常能斯特效应等。热输运和热自旋输运的研究是凝聚态物理中的一个重要方向,如何提高热电转换效率和自旋电子器件的性能是该领域要解决的关键问题。低维体系特别是原子层厚度的二维体系,其量子受限效应可以