分布式社会网络分析支撑系统研究与应用

来源 :广东工业大学 | 被引量 : 5次 | 上传用户:WXH6165559
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,SNS网站的兴起,人们越来越多地通过网络进行沟通、交流以及形成人际关系,由此产生了大量的用户数据。如何从海量的用户数据中取得更深层次的有用信息,进而挖掘其中的潜在内容,如网络舆论扩散模型、网络用户群体属性及商业价值等,是当前的重要研究方向和挑战。传统的社会网络分析工具和算法通常都是基于单机的,在处理大规模数据集的时候往往会面临存储和处理能力不足等的问题。而且,原始输入数据和社会网络结构描述都是无结构或半结构化的数据,传统关系数据库并不善于处理此种类型的数据,从而在利用传统社会网络分析工具和算法处理大规模数据集时变得更加困难。本文提出了基于HBase的分布式社会网络分析支撑系统的解决方案,用于帮助用户在对海量数据进行社会网络分析时,收集萃取数据,构建可分析的社会网络,对网络内的个体或个体间关系进行分析,以得出这个社会网络的一些特征数据。系统主要功能包括获取社会网络分析所需的数据,从数据中抽取网络关系,分布式社会网络构建,网络图存储和分布式社会网络分析算法的设计,完整实现了进行社会网络分析的过程。该解决方案通过融合HBase分布式体系结构和社会网络分析流程,建立了基于模块的多层次体系结构。系统模块间采用松耦合设计,不同模块完成不同的功能,在不改变系统功能前提下对任意模块的内部修改不影响其他模块的工作。在构建社会网络时,系统通过开源爬虫从互联网,特别是社会化网站中获取构建社会网络相关的数据,并从非结构或半结构化的原始输入数据中抽取出相关的社会网络关系,然后利用MapReduce分布式构建社会网络,包括网络合并、边属性计算等。在支撑系统的存储层设计了基于HBase的图存储系统,并针对社会网络结构的特性设计了图存储结构,负责存储构建完成的社会网络,向上层应用提供各种所需图数据。在进行社会网络分析时,通过图表述系统将社会网络抽象为一幅图,然后对图中的节点和边进行处理,图表述系统向分布式社会网络分析算法提供图数据接口和预处理功能。最后,在支撑系统的基础上,本文以节点度、节点强度及聚类系数分析为例介绍了基于MapReduce的分布式社会网络分析算法的设计与实现过程,并进行实验和结果分析。本文提出的基于HBase的分布式社会网络分析支撑系统经过实验验证,运行良好,适用于支撑对大规模社会网络数据集进行社会网络分析。
其他文献
P2P(Peer-to-Peer)网络已经成为Internet上最流行的应用,但是P2P网络开放、匿名、自主等特性,使得节点可以恣意散布不可靠的资源和服务,滥用网络资源,导致节点之间缺乏信任,
在工程实践中,嵌入式系统中的系统绝大多数都需要很高的实时性,如果这样的话对于嵌入式操作系统提出了更高的实时性要求。要想使用实时操作系统内核开发嵌入式多任务操作系统,应
目前,传感器网络种类繁多,但是传感器网络之间缺乏互操作性和互通性,特定的传感器网络只能被特定的应用程序访问,造成了资源的严重浪费。由于传感器网络的异构性、信息交换方
H.264,是由ITU—T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(Joint Video Team, JVT)提出的高度压缩数字视频编解码器标准,同时也是MPEG—4第
部分容积效应是各种医学影像设备普遍存在的问题。在同一扫描层面中含有两种或两种以上不同密度的物质时,所测值是这些物质信号值的平均,不能反映其中任何一种物质的信号值。
随着数据采集制作设备的日益普及,人们越来越方便地生产图像、图形、音频、视频、动画和三维模型等多媒体数据,这些多媒体数据具有异构、非结构化、高维和动态变化等特征,给
现代远程教育是随着计算机网络技术和多媒体技术的发展而产生的一种新型教育方式,是指借助于现代远程教育手段,以学习者为主体,兼容函授、面授和自学等传统教学形式,并采用多种媒
随着计算机技术、多媒体技术和宽带接入技术的不断发展,传统的文字通信和简单的语音通信已经不能满足大家的需求,基于语音视频的多媒体通信成为网络研究的热点,是未来通讯的发展
随着网络技术的飞速发展,特别是大量多媒体实时音/视频业务的广泛应用发展,对传统以TCP协议为主的传输提出了新的挑战。TCP拥塞控制使用的AIMD策略,会引起速率很大的抖动,不适
运动目标检测是计算机视觉研究领域的重要课题,在智能交通、机器人视觉导航、智能监控、军事等领域有着广泛应用。运动目标的检测、特征提取和识别,是视频监控的关键,其中目