云计算环境下图计算关键处理技术研究与实现

来源 :北京邮电大学 | 被引量 : 5次 | 上传用户:qq619609199
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息化时代的到来,各种数据规模飞速增长。面对规模越来越大的网络、图数据规模,如何高效的对其进行处理,成为一个新的挑战。本论文主要对图处理中的关键技术:图存储与并行计算引擎、图数据分割等方面进行研究,试图基于云计算技术提供一套更加合理高效的解决方案。本文主要工作如下:1)采用以HDFS为基础的为分布式文件系统作为存储层,以MapReduce计算模型和BSP计算模型为基础作计算层的分布式图挖掘系统。本文首先分析了多种分布式存储模型及分布式计算引擎,并在此基础上提出了这种图数据分布式存储与计算架构。2)基于云平台并行实现了两种基于BSP模型的图分割算法。图存储的核心是图分割算法。由于图数据的特殊关联性质,在分布式计算中会有大量的通信存在。为降低通信代价,同时保证负载均衡,本文讨论了图分割相关技术,并基于BSP模型实现了两种多层次的图分割算法。3)基于云平台并行实现了多种图挖掘算法。Hama是基于BSP计算模型的开源实现。BSP模型擅长处理具有多次迭代的算法,尤其是各种图挖掘算法。本文基于Hama,并行实现了四种图挖掘算法,分别是PageRank、单源最短路径(SSSP)、K-means、基于标识传播的社团发现算法(LPA)。实验表明,基于Hama平台的以上四种并行算法都有不错的性能。结合1)2)3),本论文设计并实现了一个社会网络分析系统,该系统包含图数据提取、图算法(社会网络算法)分析、结果查询与展示等功能。
其他文献
该文结合藏语信息处理的实际需要,开展了面向信息处理的书面藏语语法信息表述和应用研究.该文首次在藏语信息处理的相关理论、方法和应用方面作了积极的探索.其中,藏语语法信
嵌入式人脸识别门禁系统是将嵌入式软件、硬件系统与人脸识别技术相结合的应用系统,是新型的安全监控系统,主要应用于对安全级别要求较高的行业.该文对各种嵌入式软件以及硬
本文主要讨论网络传输过程中的安全问题,即安全通道的建立与维护。建立一个安全的网络通道,首先需要通讯方彼此确认身份,其次需要在传输过程中对传输的信息数据加密。网络传输分
该文分四章:第一章是综述部分.介绍了该文中将要用到的一些基本概念.同时简要阐述了一些关于完美对集、n-可扩图和n-临界图以及连通度理论的重要结论,局部弱连通度的定义也将
Web日新月异的发展已经深刻地改变了人们获取信息和知识的方式。Web信息资源的极大丰富和有限的信息提取方式之间的矛盾也日益突出。以浏览和关键字搜索为主要信息获取手段的
网络规模的不断膨胀,既扩大了数据存放的空间,又加大了数据处理的难度,p2p计算模型能够充分利用每个节点自身的资源和能力,相对于c/s计算模型,能提供更强的整体性能和可靠性.
开放式控制器人机接口(HMI)是开放式数控系统的核心组成部分之一,为操作员提供了便于操作的友好的图形用户界面(GUI).针对NC200数控系统,该文首先介绍了数控系统的总体结构,
随着网络的发展,网络管理越来越重要.各大院校的校园网都已经初具规模,良好的网络管理成为校园网能否正常、有效运行的关键.性能管理的最大作用是能帮助网络管理者减少网络中
当今社会中,随着人们远程协同工作需求的日益增长以及计算机技术、网络通信技术的进一步发展,计算机支持的协同工作(CSCW)逐渐成为人们研究的焦点.协同编辑系统作为CSCW系统
该文针对传统数据挖掘技术在图像挖掘上的不足,分析了当前图像挖掘的特点及现状,并在全面、深入掌握数据挖掘技术的基础上,结合数据库及数据仓库,图像检索和处理以及人工智能