社交网络大数据分析系统的设计与实现

来源 :山东大学 | 被引量 : 0次 | 上传用户:lmwtz0x8u0
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的高速发展和人们生活水平的提高,越来越多的人参与到社交网络中,人们乐于在WeChat、Twitter、Facebook等社交网络中分享自己在工作、学习以及日常生活中的相关信息,既可以发表对新闻时事、社会见闻的看法,又可以表达对生活琐事、消费购物的情感,由此产生了海量的社交网络数据,这些社交网络数据很大程度上反映了用户的兴趣、爱好、对事物的看法和感情倾向等等。高效地挖掘和分析这些社交网络数据在舆情监控、事件预测、市场调研、产品推荐等方面有着重要应用。由于社交网络数据具有重要的应用价值,越来越多的人开始设计和开发系统进行相关研究。但是目前社交网络数据分析系统主要集中在单一数据来源,忽视社交网络数据的多样性,并且很多系统都是针对数据的某一角度进行分析,分析不够全面。因此开发一个数据分析较为全面,又可以实现对多源异构数据进行挖掘和分析的社交网络大数据分析系统具有重要意义。本文主要介绍了社交网络大数据分析系统的设计与实现。系统主要分为四大功能模块。第一模块是数据的采集与融合,该模块采用开源网络爬虫框架WebCollector实现对Facebook、Twitter网站数据的爬取,然后对得到的数据进行解析和预处理,将经过处理的不同社交网络的数据统一表示,存储在非关系型数据库Neo4j中。第二模块是信息检索,该模块使用Lucene实现全文索引的快速构建以及提供多样化的检索接口,主要有关键词检索、人物检索、时间检索、来源检索及其组合检索等。第三模块是数据分析,该模块利用TF-IDF权重计算方法、K-Means聚类算法、CNN文本分类算法等算法实现对数据的挖掘分析,主要实现的功能有内容分析、行为分析、用户画像、热点话题发现等。第四模块是数据可视化,该模块是通过表格、柱状图、折线图、地图等可视化形式,实现对数据检索和分析结果的可视化展示,帮助用户更高效地提取有价值的数据信息。本系统基于Java语言进行开发,采用B/S架构,使用MVC设计模式,系统采用前后端分离的开发方式,方便以后对系统进行维护和升级。系统前端采用HTML5、Echarts、BootStrap等技术直观展示社交网络数据检索、分析后的结果。系统后端采用目前较为流行的SpringBoot框架,数据库采用非关系型数据库Neo4j,并综合利用Lucene、TF-IDF、K-Means、CNN等技术实现对数据的检索和分析。
其他文献
本文主要阐述用离子选择电极法[1]测定尾矿中的氟。试料以氢氧化钠熔融分解,用水浸出熔融物后过滤,使氟[2]与硅、铁、铜、铅等分离,然后在pH6.5~7.0的柠檬酸钠-三乙醇胺介质
通过采集矿石样品进行矿物鉴定,查明了巴鲁巴铜钴矿床的矿石矿物组成。在此基础上,在显微镜下用线段法对光片中硫化铜矿物、硫铜钴矿和黄铁矿的嵌布粒度,以及对这些矿物在不同磨
写意性与形式感是分属中国传统和西方现代的两种艺术观念与艺术风格,二者既有联系,又有区别。写意性与形式感都反对艺术创作机械地再现生活的本来面目,强调作品形式的重要性,
本文通过对新时期猪养殖技术开展分析,探讨了科学喂养、有效疾病防治和保持养殖环境卫生等技术,以期提高猪的养殖质量和效率,促进养殖业良好发展。同时,结合当前养猪业发展状
目的内窥镜鼻窦术(Endoscopic Sinus Surgery,ESS)术后疼痛等不适是慢性鼻窦炎(Chronic RhinoSinustis,CRS)患者填塞期面临的主要问题,本研究的目的是通过比较围手术期不同护
目的:探讨腹腔镜探查在不明原因腹水患者诊断中的作用。方法:收集遵义医科大学附属医院胃肠外科在2014年09月01日至2019年08月30日期间收治的以腹水为主要表现,经常规检查无法确诊,行腹腔镜探查确诊患者的临床资料。根据最终的确诊结果将其分为三组:结核组、肿瘤组、非结核非肿瘤组。(1)总结患者腹腔镜探查后各种疾病的确诊情况以及诊断依据,分析患者术前疑诊与最终确诊的符合率;(2)收集患者腹腔镜检查
着重论述了滋脾药物的性与味,并根据脾的生理病理,提出滋脾药物不仅需要滋阴兼能益气,且需渗湿不碍脾运。
香菇又被人们叫做冬菇、北菇,其中含有的香菇多糖以及多种微量元素,经常食用有助于提升人体免疫力。近年来,随着我国人民生活水平的提高,人们对饮食的健康标准也有所提升,食