基于Spark的社交网络数据分析平台

来源 :山东大学 | 被引量 : 0次 | 上传用户:lanrenlaopan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着当今互联网技术与大数据技术的日新月异发展和应用,人们更愿意把日常生活搬到网络上来,人们之间的沟通交流也更多的依赖互联网。微博、推特等社交应用不断涌现并成为当今人们生活中不可缺失的一部分。人与人之间通过社交应用作为媒介来进行交流,从而产生社交网络,社交网络在一定程度上使得移动互联网的应用领域越来越广泛。当今互联网行业飞速发展,社交网络中的万千用户随时随地都会产生大量的用户数据,海量的用户数据经过一定处理和挖掘之后会在社会生活的方方面面有深远意义。互联网技术的发展为社交网络和大数据的发展奠定了基础,海量数据的背后,隐藏着巨大的商业价值。由于社交网络与人们的社交生活息息相关,且客观地反映了人们社交圈子的状态和特征,因此分析和挖掘社交网络有一定的现实意义。本文基于某个流行的社交网络设计并实现了一套包括数据获取、数据存储、数据计算与分析和数据可视化功能的数据分析平台。本文提出的数据分析平台按照功能可以大体分为四个部分:数据爬取,使用分布式架构实现了高效爬取社交网络数据的爬虫系统,该功能为平台上层的数据计算与分析模块提供了可用的数据基础;数据存储,能够为使用者管理其创建的数据集,数据集可包含本地文件和HDFS文件,利用分布式文件系统为用户提供高可用的存储服务;数据计算与算法,通过利用Spark计算框架中的GraphX组件对图数据进行并行计算,并设计社交网络定位算法对特定用户进行定位,可较为精确地获取用户的地理位置;数据可视化,平台前端利用高德地图SDK实现了轨迹数据的可视化。平台最终将上述的各个模块功能封装成界面友好的Web应用,并利用前端展示技术将功能模块和数据可视化结果进行直观的呈现。
其他文献
京九沿线地区农林资源极为丰富,是我国重要的农副产品的供应基地和名特产品的出口基地,但目前开发深度不够,随着京九铁路的通车运营,农副产品加工业将成为海内外投资的热点。    京九沿线资源    京九全线地处北纬40°以南,属暖温带和亚热带气候,温暖湿润,光照充足,降水丰沛。京九全线所处地农业开发历史悠久,土层深厚,有机质含量高,土壤肥沃,农业的光、热、水、土等条件组合良好,不仅适合粮、棉、油、果、蔬
小琼:每年,美国人都会在一年中最冷的月份里关注几场特定的颁奖典礼:先是格莱美奖,然后是几周后的奥斯卡奖。小薇:除在格莱美奖颁奖典礼上曾演出的郎朗之外,另一张我所记得的
“相比于上市,企业真正受社会尊敬,让员工自豪,这才是我最最看重的”    生于1970年的姚纳新,一如其名,浑身浸透着创新的冲动:放弃过美国加州大学读博的机会去干企业;回国办公司,两年后就拒绝巨头西门子的兼并……      个性:干自己想干的事情    个性决定命运,这话用在姚纳新身上是最准确不过了。姚纳新从小读书成绩就十分出色,更可贵的是他鲜明的个性,那就是干自己想干的事情。  慈溪中学就读时,
本文讨论了作为结构元素的“重复”在海明威小说文本中的操作过程及其功能和效应。认为海明威小说中的重复,并非一种单调的缺陷或写作的迷失,而是一种“重复的艺术”,是一种美学
对石榴的主要生物活性成分及其抗氧化、抗菌、抗病毒、抗癌、调节血脂和雌激素样活性等药理作用研究进展进行综述。
摘 要:社会主义市场经济的繁荣发展,使得作为市场主体的企业所发挥的作用越来越重要。企业作为市场经济的重要参与者,在新的形势下,要实现自身的综合竞争实力提高,就需要把握市场发展的动向,结合自身的实际状况,加强内部建设和管理。办公室作为企业内部的综合性管理服务部门,是构成企业整体结构的重要部分,它的管理工作质量在很大程度上影响着企业总体的经营状况,本文主要分析了企业办公室管理工作的具体优化措施。  关
法释2000[33]号第7条的规定,只有根据监督过失的原理才能得到合理的解释。监督过失学说肇始于日本判例,在我国交通肇事等案件的审理中事实上也被接纳。只有当监督人过失地造
民事调解作为我国重要的诉讼制度,具有独特的优势,该制度在实践中出现的问题日趋突出,对调解进行检察监督已提上立法的议程。本文从民事调解之检察监督的现状及问题,监督的必要性
差生、潜能生、后进生这是对学习有问题学生称渭的演变,道出教育观念的改变。“差生”字眼刺人,伤人自尊;“潜能生”潜力且有,贵在挖掘;
微博客是近年来自然语言处理领域研究的热点。主要针对中文微博客中的情感分类展开研究。结合网络新词和基础情感词,同时考虑了情感词的极性情感强弱,构建四个词典,分别是基础情