大规模图拓扑结构分析技术研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:tjc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,社交网络和物联网快速普及,传统的人与人之间的关联关系被延展到了人与物、物与物之间。随之产生的数据具有强关联,非结构化等特征,图结构可以非常好地表示这些非结构化数据。随着移动互联网的普及,手持设备和物联网设备大量增加,可收集的数据呈现爆炸性的增长趋势。目前中国移动用户已经达到9亿,微信月活跃账户数达到11.51亿。这些海量的用户与海量用户之间的复杂关系组成了大规模图。海量用户产生的数据可以应用于多种场景,例如疾病爆发路径的预测,社交网络群组挖掘,电商推广,网页搜索等。图数据分析可以从庞大的图数据中迅速、准确地获取关键信息,成为当下的研究热点。在这些应用中图拓扑结构查询的重要性不断提升,拓扑结构查询主要包括点关系查询、社区挖掘和子图结构查询。其中拓扑序和子图结构查询在拓扑结构查询中占有很大比例。查询节点的拓扑序可以分析图中点的依赖关系,也是很多其他查询的前置步骤;子结构查询是在图拓扑结构查询中的基本问题。虽然图拓扑结构查询在现代应用中占有越来越重要的地位,但是传统的拓扑结构分析技术不能解答针于大规模图的拓扑结构查询。本文主要对大规模图中的拓扑结构分析问题进行了研究,采用了I/O-efficient技术,并行计算技术和分布式技术优化大规模图拓扑结构分析技术。并取得了以下成果:1.大规模图上的拓扑排序优化。首先本文从有向无环图的拓扑结构入手,研究拓扑排序问题。拓扑排序问题是拓扑结构分析中最基础的一环,也是很多其他查询的前置步骤,拓扑序亦可以优化子图匹配的顺序。传统基于内存的算法难以在大规模图中处理拓扑排序问题。第三章提出了新的算法模式,将I/O-efficient技术应用于拓扑排序。算法使用先压缩再扩张的方法,把原始图一步步压缩成能够放入内存的子图,再通过算法还原出原始图的拓扑排序,最后计算了算法的I/O复杂度,并用实验验证的算法的效率。该模式易于实现并且拓展了现有算法的使用界限。2.大规模图上的环搜索优化。对于一般图来说,环结构是图的子结构中非常重要的一个。由于拓扑结构查询中环结构因为应用对于其速度的需求,经常被单独研究。图的环结构在现实中有很多应用,比如金融反欺诈、风险评估等等,所以本文选择了图的环结构搜索问题作为切入点。而环搜索是一个计算密集型问题,传统的基于单线程的算法难以高效处理。本文将并行技术应用于环搜索,提出了一个使用两阶段解决环搜索的模式。该模式从给定点出发得到一系列前缀,再从前缀扩展为所有结果集合,基于这个模式,本文提出了一个负载估计方法提高线程之间的负载均衡。我们证明了本文中提出的算法是工作有效(work-efficient)的,且通过实验验证此算法拥有良好的加速比。3.大规模图上子图匹配算法的比较。在现实应用中,环结构匹配只是图模式匹配的一部分,在第五章,本文更进一步研究了通用子图匹配问题。传统的大规模子图匹配大多是基于回溯实现,而分布式技术可以用自然连接的方法解决子图匹配问题。目前已经有非常多的解决方案,但是它们性能孰优孰劣,仍然没有得到科学的比较。本文正交分离了连接策略和优化方法,利用统一的分布式平台,组织一系列针对标签图和无标签图的实验分析。在实验中,我们选择了多种类型的查询子图和数据集,最后得到一个在实践中行之有效的选择策略。基于以上研究工作,本文对图拓扑结构分析的多个方面进行了深度研究和讨论,并把新的技术应用在已有问题上,且取得了较好的提速成果。我们不但从理论上证明了本文提出的算法的优越性,其中环结构的并行搜索和分布式子图匹配的研究已经投入大规模图数据挖掘实践项目中。
其他文献
英语文本中的几种普通的语言现象———"替代"、"重复"和"前指",在保持语句和篇章在语义连贯统一方面起到重要作用。它们在谋篇造句过程中得以恰当使用的方式是语言形式与语
中国石油着眼于建设综合性国际能源公司战略目标,在上游油气田企业进行了一系列重组整合。实现良好顺畅的企业文化整合,是企业整合成功的重要标志。辩证分析重组企业整合过程
本文以天津市某小学外来务工人员子女为样本,对其进行家长与学校合作现状及其效果调查研究。结果发现,外来务工人员家庭子女数普遍较多;外来务工人员家长参与学校管理权利意
如何得到优良的不锈钢表面,同时符合日益严格的环保要求,已经成为当前不锈钢抛光研究的重点问题。回顾了不锈钢抛光技术的历史,介绍了化学抛光技术在不锈钢加工中的应用,探讨
对肉桂的生物学特征、地理分布、主要化学成分及近年来关于肉桂油抗菌作用的研究成果进行了综述,为肉桂油的进一步深入研究提供参考。
随着我国金融改革的不断推进,银行业的市场结构和收入结构均发生了质的变化,银行业市场集中度在不断降低的同时其收入结构也转型至利息收入与非利息收入并重。近年来,银行同业业务、理财业务及表外业务乱象突出,银监会出台一系列政策加强风险管控,监管环境逐步趋严。综合以上背景和国内外研究,本文旨在研究市场集中度的改变和非利息收入的增长对银行风险的影响。本文首先对市场集中度和非利息收入的定义进行梳理,并对市场集中
信噪比的检测,对于OFDM系统性能的衡量和分析非常重要。本文结合仿真环境,提出了信噪比检测的方案,并验证了方案的可行性。
我国的对虾养殖池塘大多是20世纪80 ̄90年代建造的,由于当时虾池建设的标准低,经过多年的养殖,虾池的老化程度日益加深。近年来这些虾池养虾产量低,易出现病害,使很多养殖户养
这些年来,我国社会经济快速发展,人们生活水平普遍提高,文化产业也取得了长足的进步。大力发展文化产业,并使其在我国经济发展的支柱产业中占有一席之地,是我国经济发展战略
信访作为中国特色的民情申诉反映渠道一直以来都备受关注。当前,随着社会改革的不断深入,在涉及农村土地征用、房屋拆迁、土地林业权属等方面的矛盾也日益凸显,有些矛盾是村民与村民之间的纠纷,有些则是村民与政府之间,由于立场、利益、认知的不同,导致一些基层的矛盾在处理的过程中反而不断的累积发酵,不断演变,最终成为信访案件,甚至信访疑难案件,而基层政府在处置信访案件中又存在很多的局限性,导致一些信访案件长时间
学位