基于I/O调度的多任务外存模式图处理系统

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:rfy68213919
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图处理系统被广泛应用于在线社交网络、社区发现等诸多应用领域,随着图数据集规模的不断增大,图算法的执行时间越来越长,多任务场景也越来越普遍。当前的外存模式图处理系统通过优化对图数据的访问速度,能够有效地执行单个图处理任务,然而在多任务场景下,每个图算法的I/O特性不同,具有不同的外存图数据访问速度,因此并行执行多个图处理任务时将影响甚至破坏现有的外存I/O优化方法,造成严重的外存随机访问开销。另外,每个图算法分别向外存发起I/O请求,会竞争有限的I/O带宽,I/O冲突严重。针对现有外存模式图处理系统在多任务场景下存在的问题,本项研究提出了基于多外设重编排和图数据共享的I/O模型,设计并实现了多任务外存模式图处理系统GraphScSh。系统GraphScSh采用多个外设实现图数据的有效存储,通过控制并行图算法执行过程中对外存图数据的访问顺序,将I/O压力均衡的分散到每个外设中,充分利用多个外设的I/O带宽,有效地减少I/O冲突。此外,基于图数据共享思想,优先访问已经加载进内存的图分区数据,减少相同图数据的重复加载,提高I/O效率。基于不同的并行算法组合,在不同类型和不同规模的图数据集上测试了图处理系统GraphScSh的性能,测试结果表明,对于92%的并行算法组合,GraphScSh的执行时间都要小于GridGraph,性能提升百分比随着并行度的增加不断增加,在不同的数据集上提升百分比最高分别为64.67%、76.03%、82%。另外,与系统GraphDeSh的对比测试结果说明,GraphScSh避免了GraphDeSh存在的同步开销问题,在不同的测试数据集上执行时间提升百分比最高分别为34.12%、19.24%、12.68%。
其他文献
随着计算机技术的不断发展,并行编程作为一种有效的提高程序运行效率的手段,已经越来越融入到日常的软件研发项目中了。并行编程虽然为程序的快速运行带来诸多的便利,但是同
声发射检测技术是一种动态无损检测诊断技术,已被广泛应用于设备的实时监测。金属材料的声发射信号非常微小,信号在传播过程中又存在衰减现象,监测时可能无法获得有用的真实
当今时代信息资源丰富,并且以碎片化、多样化的形式大量存在;与信息密切交互的信息主体同样存在着多样性、个性化的特点,因此,在信息查找、获取等信息活动的过程中就出现了分化的现象。信息分化是指信息主体之间信息拥有的差距,而且表示信息主体之间信息拥有差距的扩大趋势和发展过程,它具有静态和动态两个方面的表现。信息分化不仅出现在不同的人群间,同一群体内部不同的个体也同样存在着分化现象,鉴于此,本文对硕士研究生
二元多项式矩阵的等价研究可简化许多工程计算,并应用于电路和物理系统等诸多领域。其中,二元多项式矩阵的Smith型因其形式简单,而在过去几十年的研究中占重要地位。但是,至今没有学者能够提出一个容易判别的条件及构造性的方法,来解决一般二元多项式矩阵与其Smith型等价的问题。本文将结合二元多项式环的性质以及已有的研究成果,研究一些新的特殊二元多项式矩阵与其Smith型等价的问题。首先,我们讨论了两类二
新中国六十年漫长曲折的社会主义法治进程中,国内法律制度的建设一度受到“文革”的冲击而中断,直至改革开放才逐步走向复兴。历经磨难的新中国社会主义法治建设进程也不可避免的影响着中国法学界的发展,作为新中国法学界的领军人,被誉为“法学泰斗”的江平,其坎坷的学法历程,不断丰富的法律理念,成为研究江平法学思想最基础的背景和渊源。江平以罗马法思想为指导,对社会主义法治与民主建设进行了不懈的思考与探索,他以实验
棉花是一种重要的经济作物,具有十分明显的杂种优势。但我国棉花细胞质雄性不育系的研究和利用较晚,棉花杂种优势的利用和基础研究相对滞后。植物雄性不育是杂种优势利用的基
网络的局部结构特征能够用于解决网络研究方面的问题。由三到五个节点组成的基本结构单元,以及它们的出现频率,在生物医学、化学、社交领域中有重要的应用。它们的频率可以用
有机磷化合物有着独特的性质和广泛的应用,因此开发更加简洁和绿色的合成方法一直在不断的探索中。脱氢交叉偶联和借氢还原反应是目前合成有机磷化合物最高效的方法。本文主
利用天文周期方法研究地层剖面的完整性问题在地学研究历史中当属首例,其相比较于前人提出的潜穴化石定性估测法、古地磁法、研究剖面的厚度与同时期全球平均沉积厚度的比值、地层剖面长期沉积速率与短期沉积速率的比值法等方法拥有精度高计算方便等优点。本文主要利用东濮凹陷上古生界地层进行研究,通过频谱分析、小波变换等技术方法对与沉积环境变化密切相关的自然伽马测井曲线进行分析,开展对该段地层沉积相分析、沉积时限、沉
中国城镇化进程的加速、医疗改革的不断推进,给中国的医疗行业带来了许多新的机遇。医用胶片也随着医学影像诊断的不断发展,在中国市场迅速扩展,成为近十年最有发展潜力行业,