一个面向社会网络分析的大规模矩阵运算平台的设计与实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:lixiaoliangtony
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着各类社会类网站和电商类网站的崛起,针对大规模社会关系网络的社会网络分析(SNA),从简单的好友推荐,到复杂的重要节点探查等,具有越来越多的应用需求。另一方面,针对大规模数据进行分析的分布式数据计算平台发展迅速,包括通用分布式计算平台Hadoop,也包括专用分布式计算平台Graphlab等。为了在不同的分布式平台上实现丰富的社会网络分析算法,现阶段用户需要在每一个平台上单独实现一整套复杂的代码库,并针对该系统进行特定的优化,工作量巨大。  本文首先提出利用矩阵接口,来完成不同社会网络算法和不同分布式平台之间的连接。将社会网络算法用矩阵接口的方式表示,然后将矩阵运算转化为各个平台上已经实现好的算子库,自动完成多平台的实现。  为了完成这样一个目标,本文完整实现了该矩阵系统在Hadoop平台上的实现。在存储层中,实现了矩阵的逻辑层划分和物理层存储。在算子层中,实现了矩阵一系列的运算算子,包括矩阵格式的转化,矩阵的转置,广义矩阵加法,广义矩阵乘法等。紧接着在这样的系统上,实现了几个较为复杂的社会网络分析算法,通过实际的应用场景,展示矩阵系统的使用方式。  最后,本文设计了系统的功能实验和性能实验。功能实验中,本文通过运行矩阵系统上的社会网络算法,来验证系统功能的完整性。性能实验中,本文探究系统算子在不同类型的数据上的性能表现,并提出相应的使用建议。
其他文献
本文主要讲述了嵌入式软件测试的技术和测试过程管理的理论和实际需求,设计了一套可应用于嵌入式软件系统集成测试和测试过程管理的最小系统,并实现了其中的主要模块和组件。本
结合目前网络上大众关心的匿名网络发布趋势,我们尝试一种基于P2P的匿名网络发布模型.模型底层对用户是透明的,系统在应用层实现.在这个模型中,我们将实现文件的匿名发布、文
该文设计并实现了适用于信息家电、工业控制等嵌入式环境的嵌入式实时操作系统Gxertnos,主要由实时内核和精简的TCP/IP协议栈组成.实时内核是基于x86及兼容硬件平台开发的,运
溢油是一种非常严重的海洋污染。为了通过遥感来监测和识别海面溢油,科学家们已经针对遥感图像进行了很多研究工作。对于海面溢油的探测来说,边缘检测是一种重要的图像处理技术。人们已经针对图像处理发展了很多边缘检测算法,例如Roberts算子,Sobel算子,Marr边缘检测算法等等。这些边缘检测算法在处理各种不同情况的图像时各有优缺点。判断一种边缘检测方法的好坏也要根据实际情况和需求来决定。对于海面溢油图
P2P文件共享系统自诞生的那一刻起,为用户在互联网中传播文件提供了极大的便利,弥补了传统HTTP/FTP等中心化下载方式的不足。从以集中式网络拓扑为代表的第一代P2P文件共享软件
系统要求建立一个以中央会计为核心,以客户管理为发展方向,以公共控制为辅助手段,覆盖全行各项业务品种的,本外币一体化的,全集中式的业务处理系统.系统采用三层结构模式,由
该文主要围绕平面内人脸的旋转变化这一普遍而又较难解决的问题,进行一系列研究,并提出了一套可行的解决算法.论文的具体研究内容包括:1.针对人脸在平面内进行角度旋转的情况
本文综述了应用于动态Web数据库系统的若干关键技术,并结合所开发的通用考试(练习)系统,对系统设计与实现过程中所涉及到的关键技术进行了分析与研究,主要包括: 1.系统体系结构
现代Web应用程序在服务器上存储敏感数据,这些数据很容易因为服务器存在漏洞被攻击者窃取。目前,应对Web服务器端敏感数据泄露问题的主要措施是通过数据加密和访问控制对数据库
随着互联网基础设施的不断完善和智能设备的不断普及,互联网视频的应用越来越广泛,随之而来,人们对互联网视频的期望也越来越高。为了应对用户对于多终端、高清晰度、流畅视频体