动态社团发现及演化分析并行算法的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:bbanb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,社团发现一直是复杂网络研究中的热点问题。所谓社团就是同一网络中连接比较紧密的顶点构成的集合,并且不同社团之间的连接比较稀疏。目前已经有多种社团发现算法相继被提出,不过其中的静态社团发现往往会忽略网络结构的变化,也无法检测到网络中社团结构的演化过程。同时在数据量迅猛增长的情况下,单机算法的效率较低,难以支撑大规模网络中社团结构的挖掘与分析。因此,进行动态社团发现及演化分析并行算法的研究在实际应用中具有重要的意义。本论文基于Spark并行计算框架设计实现动态社团的结构划分和演化分析时,主要有如下几部分工作:本论文首先提出了一种基于Spark的并行增量动态社团发现算法PIDCDS,为了在GraphX并行图计算平台上通过最大化持久力发现社团,该算法对节点的持久力计算公式进行了有效修正。PIDCDS计算每个时间片中增量节点的持久力指标,更新其社团归属,在保证一定的社团划分准确性的基础上减少计算量。通过与FacetNet动态社团发现算法做比较,验证了本算法能够获得更好的稳定性,同时能发现更真实的社团划分。对不同规模网络在PIDCDS上的运行时间进行对比,发现该算法在网络节点和连边增加的情况下,运行时间缓慢增长,性能较高,并且增加内核数将在一定程度上加速算法的执行。在通过PIDCDS算法发现动态网络中社团结构的同时,本论文提出了一种动态社团演化并行算法,设计社团的骨骼结构并获取关键节点集合,构造以社团为节点的二分图,根据关键节点的分布最终确定社团的演化过程。之后将文本数据处理为动态网络的形式输入算法,得到效果不错的事件演化分析结果。最后,本课题基于Spark和OSGI构建得到一个并行图数据挖掘系统,通过组件化技术将多种算法集成到系统中,用户只需简单地拖拽组件连成工作流即可完成大规模的社会网络分析。
其他文献
在去年的全局工作总结会上,我代表局党委和局领导提出了今年工作的十项任务和四点要求。这四点要求,一是要认真学习贯彻中央和市经济工作会议精神,提高认识,统一思想;二是要全面贯
  生物酶-无机盐杂化材料因其多层花瓣状的表面形貌和较大的比表面积而使其中的生物酶在具有优良催化性能的同时稳定性也得以提高,并可实现酶的重复使用。近年来关于生物酶-
试验表明,当用断探针分析金属断口试样的某种元素时,其加速电压的选用应略高于这种元素的最佳加速电压值,这样做可减小粗糖表面对 x 射线出射的影响,保证了高的 x 射线强度和
新会污水处理的总体规划在96年已确定,并经市人大和江门市的批准。现在建的东郊污水处理厂是市区三个污水厂的一个,负责处理旧城区和新区东南片的污水,最终规模为16万t/d。本文
信息技术、互联网、大数据的迅猛发展,给人工智能产业带来了巨大变革。如今,人工智能介入文学艺术领域已成为事实。人工智能在创作过程中,某种程度上模拟了人脑的思维过程,从
用直流溅射法在室温Si基片上制备了 4 .9nm~ 189.0nm范围内不同厚度的Ag薄膜 ,并用X射线衍射及反射式椭偏光谱技术对薄膜的微结构和光学常数进行了测试分析。结构分析表明 :制
<正> 风池、百会穴是治疗脑疾的要穴,我们近年来用按摩此两穴的方法治疗脑动脉硬化140例,取得满意效果。兹小结于下: 一、临床资料与方法 (一) 观察对象:共140例。其中男91例
本文阐述了公司总部对项目分公司经营活动管理过程中所采取的扁平化管理方式,对加强公司总部集权管理有一定借鉴作用。
随着柔性电子器件和设备的蓬勃发展,电子行业传统互连所用的锡基钎料因其高弹性模量、极小的弹性变形极限、低延展率等缺点使得它在可折叠电子、可延展电子、三维封装等领域
<正>自1947年球墨铸铁开始工业生产以来,球墨铸铁件不仅在产量和应用领域快速发展,而且在材料技术和生产技术上更有质的飞跃。那么,何为高端球墨铸铁?笔者认为硅固溶强化铁素
会议