基于并行聚类分析的复杂网络社区发现

来源 :湖北工业大学 | 被引量 : 0次 | 上传用户:hongtu200909
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在互联网科技高度发达的今天,大数据逐渐成为计算领域的关注点和难点,具有非常重要的理论意义和研究价值。复杂网络社区检测问题就是当前一个非常重要的研究热点。为了实现对复杂网络更高精度和更高效率的社区检测,本文主要是采用Hadoop并行计算平台进行算法并行化的设计,目的是有效解决大规模复杂网络的社区检测问题。首先,采用Hadoop平台对复杂网络社区检测过程进行分布式并行计算模型的设计,并结合HDFS模型进行复杂网络原始数据的并行化社区检测划分,然后结合HDFS模型并行批处理优势实现对复杂网络社区检测过程的并行化处理。(1)针对复杂网络社区发现采用Hadoop平台实现,并在此基础上实现对复杂网络的分布式社区并行发现。(2)基于Cluster-dp方法原理设计的基于秩的中心分散稀疏选择方法,对于社区发现过程的初始种子选取过程进行了改进,实现了较好的效果。结合传统的K-means聚类算法,对复杂社区网络中的节点进行类别的区分,实现社区结构的有效检测。专门针对网络社区中的个体的稀疏关系,设计了一种用于社区节点个体属性加强的聚类算法,称为EkNN算法,降低数据噪声对于社区发现过程产生的影响。(3)针对复杂网络社区中的重叠结构,考虑采用基于Hadoop框架设计并行KNN算法的复杂网络社区发现方法,目的是提高社区发现过程的算法性能。设计了基于Hadoop并行框架下的Mapreduce-KNN并行聚类算法,实现了社区发现过程的效率提升。(4)针对复杂网络社区检测问题,对关联规则算法进行改进,主要解决关联规则算法中存在的计算冗余问题,设计了具有单约束的社区检测关联规则算法,同时为了降低复杂网络社区检测算法中的计算量,本文结合Hadoop计算框架中的Mapreduce模型对关联规则算法进行并行化设计。实验结果显示,本文所提的复杂网络社区检测算法具有更佳的社区检测结果和检测效率,对于处理互联网科技高度发达今天的社区检测问题具有非常重要的研究价值。
其他文献
相位是量子力学中普遍存在的一个重要概念,对波函数几何相位的研究有益于人们更深层次的去理解量子力学。自1984年英国物理学家Berry提出Berry相位以来,对几何相位的研究就一直
目的:近年来,中药临床药学与药学服务难以开展。本文通过医院中药临床药学与药学服务工作的探索实践,探讨临床中药师提供优质临床药学服务的有效途径和方法,提高中药药学服务
肝癌是我国高发性恶性肿瘤,分布广、转移率高,但其发生的分子机制尚不明确,从信号传导途径治疗肝癌已发展为目前生物治疗的新兴领域。细胞因子通过与其它细胞的特异性受体结合,激
双极化Massive MIMO系统通过在基站部署大量双极化天线阵列有效的提升系统容量、能量效率以及系统鲁棒性,成为5G关键技术之一。而导频污染引起的小区间干扰不会随着天线的增加而消失,成为限制双极化Massive MIMO系统性能提升的瓶颈。引入极化可以扩展无线资源的自由度,有利于解决导频污染问题,因此利用极化域无线资源研究有效的导频污染抑制算法是非常必要的。论文选题来源于国家自然科学基金项目“基
目的:应用常规超声和超声造影(Contrast enhanced ultrasound,CEUS),评价颈动脉斑块的稳定性[1,2],并结合病理组织学及免疫组化结果判断超声检查的准确性,探讨常规超声和CEUS
目前对旋转机械的趋势分析与寿命预测方法多依赖于故障特征参数的提取,时频分析方法广泛用于旋转机械的故障特征参数提取方法中。其中应用较多的时频分析方法有小波分解、经
新时代背景下我国品牌经济快速发展,商标战略不断推广深入实施,商标的表现方式变得多样,从传统的文字、数字商标向声音、气味等非可视性商标发展。气味商标作为一种新兴事物,
芳香腈类化合物广泛存在于各种天然产物中,是很多生物活性分子及药物分子的基本结构单元。另外芳香腈类化合物也是一类非常重要的合成中间体,在有机合成中具有重要应用。虽然
智能交通系统中有一个特殊的子系统-紧急救援系统,紧急救援系统的存在是为了解决生活中常见的意外事件。该系统的高效运行依赖于智能交通系统中其他的子系统,并且可以将交通监控中心与职业的救援机构连成一个有机的整体从而实现该系统的存在意义。在我们的日常生活中,交通事故的发生是不可预测的,这就需要完善的紧急救援系统的快速响应来减少事故发生造成的损失。一般来说,当事故发生时,会同时需要很多救援资源到场合作处理,
在工业、农业、生物医学等许多领域中,经常会遇到带有区组结构的试验。平衡不完全区组设计影响到试验设计的效益和成本,如何设计这样的试验,并对试验进行随机化安排,建模和分析,是