微博的大规模社区发现技术研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:hjx9062
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文设计并实现了针对微博的社区发现系统。系统包括并行化的数据采集软件和基于Hadoop平台的并行化社区发现算法,本文采集了百万用户规模级别的社交网络数据,并用图结构来表示采集的社交网络数据,测试表明,本文设计的系统有能力处理采集到的大规模数据,并得到合理的结果。   本文首先介绍了微博的发展现状,接着简述了几大类社区发现技术,并指出社区发现技术应用于微博这一社交网络的意义。接下来本文讨论了社区的定义,并分析了微博中反映社区结构的数据,以及根据这些数据构建模型的方法,即如何用图结构来形式化的表示社交网络,并举例子直观的展示了微博的社区结构。对于系统用到的算法,本文从基本概念、算法原理、算法流程等方面详细介绍了谱聚类算法和CNM算法,并对算法的优缺点进行了分析。接下来本文基于Hadoop对这两个算法进行了并行化实现,使之能处理大规模数据,并给出合理的结果。最后,本文分别用小规模数据和大规模数据对系统进行了测试,并根据测试结果展望了更进一步的工作。
其他文献
目标跟踪检测技术是计算机视觉和模式识别等多个领域的研究热点,其在智能监控、智能交通、人机交互等多个场景有着广泛的运用。随着智能设备的爆炸性增长,计算的重心逐渐由过
无线移动通信呈现宽带化和移动化的发展趋势,人们对数据传输速率提出越来越高的需求。MIMO系统利用多个收发天线充分开发空间资源,在不增加频谱资源和天线发送功率的情况下,可成
随着无线通信网络和移动设备在人们日常工作和生活中重要性的不断提升,对更加安全可靠的无线通信技术的需求也迫在眉睫。对于传统的扩频或者跳频通信系统而言,其信号和系统都
认知无线电是为了解决频谱紧缺问题而提出的新技术。认知无线多跳网络是一种新的多跳网络架构,相比传统多跳网络具有其固有的特点和设计挑战。认知多跳网络中会产生次用户业
物理层安全技术摒弃了基于计算复杂度不可行的传统安全方法,创新地利用无线噪声信道内在的随机的独特性和不可复制性,以信道噪声为“密钥”实现无线数据传输的安全性。然而,
近年来,随着全球对安全监控需求的日益增加,多摄像机智能监控系统日益引起人们的重视。利用各种视频分析算法,多摄像机监控系统能够扩大监控视野范围、解决目标遮挡、分析异
信号检测是任何通信过程中必须首先解决的问题,成功地检测信号是建立通信的基础,深空通信也不例外,本文就是研究基于循环谱相关的深空通信信号检测算法。论文首先介绍循环谱理论
在工程技术、管理科学、计算机科学、科学研究等领域中存在着大量的优化问题需要解决,目前工程中常用的优化算法主要有经典优化算法、局部搜索和贪婪算法、智能优化算法和混
一部3D大片《阿凡达》,揭开了“3D元年”的序幕,也让“3D”概念在国内市场风生水起。国内外各大电视厂商纷纷力推旗下3D电视,得益于大规模集成电路及信息技术的进步,原本价格高昂
随着数字多媒体技术的发展,人们对通信质量的要求越来越高,如何在有限的带宽下实现信息的大容量、高速率、优质量的传输成为了研究人员的关注热点。光正交频分复用(O-OFDM)传输