基于分布式存储的大规模图的深度优先搜索算法研究

来源 :辽宁大学 | 被引量 : 0次 | 上传用户:meixueer2972
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度优先搜索(DFS)是一种基本的图操作,它以深度优先的形式遍历整个图,而DFS对图G中所有节点的搜索结果是一棵生成树,称为DFS-Tree。深度优先搜索算法一直是计算机科学技术领域研究的热点问题,广泛应用于连通分量计算、拓扑排序、社区检测等。随着大数据时代的来临,数据规模不断增大,数据的拓扑结构也越来越复杂,基于内存的DFS算法无法适用于大规模图数据,无法满足日益增长的数据规模和查询传输有效率的需求。因此需要设计一个更加高效的低I/O的深度优先搜索算法,运用于分布式存储的大规模图。本文深入研究了现有的深度优先搜索的半外算法,它针对存在于磁盘上的图G进行I/O高效的深度优先搜索。研究中发现,虽然此类算法在一定程度上提高了I/O的效率,但是仍无法满足分布式大规模图存储环境的下的高效I/O处理。对于分布式图存储时,半外算法得到关于图G的生成树及消除强连通时会伴随着大量的I/O,并且当原有数据存储为广度优先搜索顺序存储时,子图间存在着很多的横向边,导致算法效率下降。针对分布式存储的图G进行深度优先搜索时,设计高效I/O的划分算法将是本文研究的主要方向和内容。本文针对大规模图分布式存储特性,提出一种适用于分布式存储的图结构的深度优先搜索算法,对以DFS方式存储和BFS方式存储两种存储方式的图结构分别给出了相应的解决策略。DS算法基于根节点建立全局关系图,将原图划分成多个子图,在各子图内再次建立局部关系图,分别求得各个子图的深度优先搜索子树,最后将处理过的子树进行归并,快速建立I/O高效的深度优先搜索树。由于各个子图区域间存在可到达关系,即横向边关系。本文采用上推方法,将各个子树间暗含的关系传递到关系图中,关系图在一定的算法条件下进行判断并返回处理方法。对于BFS方式存储的图,站点间存在大量的联系需要处理,本文在各个子区域分别求得子树后,算法将对于不同类型的横向边进行判断并给出处理和连接方法。算法能够有效减少内外部I/O通信,提高I/O效率。最后,通过和传统的分布式存储的DFS算法的实验结果进行对比分析,证明本文提出的基于分布式存储的大规模图的深度优先搜索算法具有较好的DFS效率。
其他文献
台湾何创时艺术基金会所藏傅山《啬庐妙翰》,被该艺术基金会认为是傅山最具代表性的一件作品,甚至认为是傅山最好的一件作品。但就是这样一件伟大的作品,迄今都没有完整的释
陕北洛川塬地区地域文化深厚,吸引众多画家进行相关题材艺术创作。在新的历史条件下,本文以洛川塬题材进行主题创作,试图进行新的意义探索。首先,研究地域、文化性差异对洛川
结合参数回归模型和非参数回归模型的诸多优点,统计学家们提出了半参数回归模型。对于简单的半参数回归模型:国内外学者做了大量的研究,当随机误差序列{(?)}为不同类型的时候
随着硬件计算能力的升级,人们现在已经习惯于分析原始数据集而不是抽样得到的小样本数据集。在这样的背景下,复杂网络的大规模分析形成常规。其中,网络表示算法可以将非结构
Logistic回归模型是一种有效的处理分类数据的方法,在很多领域诸如经济学、工程技术类医学、医学、生物学、犯罪心理学都有广泛的应用。近年来越来越多的利用Logistic回归模
老化是指在许多生物过程中器质性和功能性的退化,与各种疾病如癌症、神经退行性疾病以及心脑血管相关。老化的过程开始于细胞衰老,大量的细胞衰老导致组织器官的功能紊乱或丧
2005年3月31日,联合国安理会通过了第1593号决议,根据《罗马规约》第13条(b)项的规定,将苏丹达尔富尔情势提交给国际刑事法院。紧接着,国际刑事法院第一预审分庭在2009年3月4
经济和社会的快速发展,人们愈加关注交易的风险和安全,信用的重要性也随之不断显现,个人征信业由此获得了长足发展。但是,我国征信业发展时间较短、法律制度不完善,被征信主
游戏文化理论表明,通过游戏进行的语言学习既包括“游戏中”的学习,也包括“超游戏”环境中的学习;语言学习不仅发生在玩游戏的过程中,同时也更加积极地发生在游戏结束后的社
兴国必先强师,师资是一切教育之母。当前,职业教育的发展和改革亟需一支素质高、能力强的教师队伍,而面对现实,我国的职业教育师资却存在着数量不足、质量不高,培养体系不健全等问题,成为阻碍职业教育创新发展的一大瓶颈。回溯民国时期的职业教育师资培养状况,不仅可以从历史角度追寻师资培养问题出现的根源,还可以为当代职业教育师资队伍建设提供一定的经验借鉴。清末民国时期,我国的职业教育师资培养处于萌芽阶段,政府和