基于Spark平台及话单分析的人物关系可视化的研究与应用

来源 :北京工业大学 | 被引量 : 0次 | 上传用户:q344494
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息时代的飞速推进,手机作为一种必备品,功能和角色越来越多样化,现在的手机具有通话、发短信、上网、导航、办公等各种功能,也记录着通话信息、人际关系、生活习惯等情况。同时,手机也被多数犯罪分子广泛地运用在犯罪实施的过程中。大多数罪犯在预谋和犯罪行为中都不同程度地使用了手机。因此,对话单中的通话记录进行分析已经成为日常办案中必不可少的重要手段。通过分析话单信息得到机主的通话特征和相关人物与机主之间的人物关系,已经成为了警方调查案件和侦查嫌疑人的重要手段。本文以Spark平台作为研究的平台基础,话单通话记录中的数据作为数据基础,通过预处理、存储、查询和分析话单数据,生成相关的通话特征信息,利用决策树分类算法得到人物关系,利用可视化对人物关系加以展现,为侦察嫌疑人提供技术支持。本文主要工作如下:1、提出了一种基于Spark MLlib的决策树分类分析方法,对话单数据进行数据挖掘,生成人物关系。通过Spark SQL查询技术,对机主话单数据的通话信息进行统计,掌握机主的基本通话信息,获取重要的通话特征信息,例如通话次数、通话时间、通话时长和通话位置。之后,利用Spark大数据平台的Spark MLlib,结合所获得的通话特征信息,进行决策树建模,构建出决策树的分类模型。之后便可以对话单中的人物关系进行分类,得到所需要的人物关系,辅助用户快速了解机主的社交圈,挖掘机主与相关号码的人物关系情况。2、设计一种基于Spark Graphx图计算的获取共同好友及数据可视化方法。用通过使用Spark Graphx图计算框架的运算和连通图子图算法,获得机主的所有好友列表以及多维好友列表。然后基于六度分割理论,对Spark Graphx中的单源最短路径算法进行了改进,获得两点之间的连通路径,得到了获得共同好友的算法,用来确定不同机主之间是否有共同联系人或者共同好友。最后,通过Echarts可视化库实现相关通话特征和人物关系图的可视化显示,包括折线图、柱状图、饼状图和人物关系图。3、设计并实现了基于Spark平台及话单的人物关系分析及可视化系统,对用户进行通话特征统计及相关人物关系分析。对话单记录进行查询得到的特征信息,可视化展示特征信息的统计结果如折线图、柱状图、饼状图。通过这些通话的特征信息,构建决策树分析得到人物关系,并利用数据可视化手段对分析出的网状关系进行可视化展示;对于联系密切的联系人,针对人物关系建立机主与对方号码之间的人物关系网络。通过Spark平台获取好友列表和共同好友,分析可疑联系人。
其他文献
本文评述了俄罗斯稀有金属原料深加工和综合处理工艺发展的现状和前景,首先介绍了俄罗斯对稀有金属的需求和稀有金属资源概况,同时较详细地介绍了俄罗斯稀有金属矿石选矿技术
目的 探讨应用案例教学法开展教学活动在医学领域的影像专业教学中的效果。方法 选取我校影像学专业的本科学生88名作为研究对象,将其随机分为A组、B组。A组采用案例分析法,B
随着我国财政体制改革的深入,对高等院校财政经费支付方式由过去的分散支付方式改革为国库集中支付。本文就财政集中支付制度下如何进一步完善高校经费管理谈谈看法,供探讨。
本文以石油石化和民航行业禁烟状况为例,阐述安全管理基础环节建设的完善与否,直接影响安全管理效果。文章主要探讨通过建设良好的安全管理基础条件,将繁杂的安全工作进行分解,把
在不同pH值下用Zeta电位、接触角、微量浮选和漫反射FTIR测定,研究了不同浓度下戊基钾黄药(KAX)和己硫醇(HM)在菱锌矿表面上的吸附.用KAK捕收荆时,Zeta电位测量结果表明,纯菱锌矿表面
看了相关的文章,觉得很震惊。这都什么年代了,才反应过来成本导向要改革?尽管比亚迪正在释放各种积极的信号,但业内人士看到相应的报道之后依然感到震惊。多个信源的消息显示
目的分析改良纵切横缝术在慢性肛裂患者中的应用效果。方法从我院收治的慢性肛裂患者中抽取48例,分成两组后实施不同术式,统计治疗结果。结果观察组切口愈合时间、住院时间少
《安全》杂志为《中国核心期刊(遴选)数据库》收录期刊;“万方数据—数字化期刊群”全文上网期刊;中国期刊全文数据库全文收录期刊和中国学术期刊综合评价数据库统计源期刊。
目的 探讨维持性腹膜透析与血液透析患者钙磷代谢和心血管钙化情况。方法 选择2010年1月—2015年12月在我院进行规律透析治疗的患者80例为研究对象。其中40例患者采用持续性
采用顺丁烯二酸酐对三种不同植物油进行改性制得顺酐化植物油,然后再与醇胺反应得到可无限水溶的浓缩水性油。实验考察了反应温度、顺酐用量、常规催化剂及微波催化对反应的