基于Spark的突发事件检测实现研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:ynhz009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络信息流中包含着显式或隐式的突发事件,从这些海量信息流中检测或预测突发事件具有重大意义。通过检测或预测出突发事件,有关应急部门可以做好充足准备和应对策略,将损失降到最低;普通用户可以沉着应对突发事件,不至于扩大突发事件的危害性,增加不必要心理压力。与突发事件有关的研究在国内外屡见不鲜,已取得不少成果。但目前的研究主要局限于突发事件自身特色的理论方面,在检测和预测等技术方面虽有但不多。特别是大数据环境下的突发事件检测和预测技术研究更是凤毛麟角。本文想要解决的问题是“如何在大数据环境下的网络信息中准确、快速地检测出突发事件”。该问题可分解为两个子问题,一是在大数据环境下如何从网络信息中准确地检测出突发事件,二是如何快速地检测出突发事件。针对两个子问题,本文先分析了突发事件检测的相关理论与主要技术,然后对大数据环境下的突发事件检测模型和方法进行研究,具体包括以下4个方面:(1)论述了突发事件、突发事件检测及大数据并行计算等相关概念与技术;(2)以perplexity(困惑度)作为主要评价指标,分析了PLSI、LDA(?)HDP等基于概率生成的主题模型的优缺点;(3)提出突发事件并行检测模型,以适应大数据环境下准确、快速地检测突发事件;(4)利用Yahoo news新闻与新浪微博两种不同类型数据源进行实证研究。本文主要研究成果是提出了突发事件并行检测模型,使得该模型能够胜任大数据环境下突发事件检测任务。该并行模型分为4个步骤,分别是语料并行预处理、突发词并行检测、潜在突发文本并行过滤和LDA主题并行抽取。该并行模型可在当前最流行的快数据处理平台Spark上执行。上述的并行检测模型,应用于实际业务中就形成并行检测系统。本文的并行检测系统就运行于Spar k平台。此外,本文对并行检测模型进行了实证研究。通过Yahoo news新闻与新浪微博两种不同类型数据源的实证研究,表明本文所提的突发事件并行检测模型(方法)具有较高的准确性和较好的可扩展性。具体的实证研究工作是:(1)在Yahoo news新闻数据源方面,主要做了突发事件检测准确性实验;概述了全部数据的检测实验并具体阐述了4月、5月、6月的检测实验,通过实验表明本文所提的突发事件并行检测模型准确率P、召回率R和调和平均值F分别可达84.62%、78.57%和81.48%。(2)在新浪微博数据源方面,进行了加速比和可扩展比的有效性实验;对突发事件并行检测系统中耗时最长的LDA主题并行抽取模块,进行了LDA迭代次数、LDA主题数、Spark分区数和运行Spark的硬件平台使用情况等实证研究。
其他文献
所谓网络载体,也就是通过互联网这一先进的电子信息交换系统来承载并传递思想政治教育内容,以帮助人们形成时代和社会所要求的思想观念、政治观点、道德规范以及健康的精神状
人们的生活方式正随着科技的发展愈加多样化,智能技术已经融入到日常生活中,作为智能技术主要成果之一的智能手机更是成为了社交环节中的重要工具。在各种手机社交软件中,微
目的:探讨复方玄驹胶囊对Ⅲ型前列腺炎相关的性功能障碍影响性,以期提高临床诊治水平。方法:选取2012年1月至2014年1月68例Ⅲ型前列腺炎相关性功能障碍患者为研究对象,分成两组
目的观察复方玄驹胶囊联合沙利度胺、柳氮磺砒啶治疗强直性脊柱炎的临床疗效并分析。方法将60例强直性脊柱炎患者,随机按入院时顺序分为观察组和对照组,对照组患者采用沙利度
目的探讨蜂胶类黄酮对肺结核合并糖尿病(PTB-DM)患者的辅助治疗作用及其免疫调节机制,为寻求安全有效的PTB-DM防治措施提供参考。方法以PTB-DM患者120人为对象,利用随机数字
加强和创新社会管理是党中央提出的一项重要任务,其中明确提出要“加强社会管理信息化建设,提高社会管理效能和服务质量”。随着物联网、云计算等新一代信息技术的飞速发展,
文章对国内外公共数字文化网站评价的相关文献进行了梳理,并在已有的公共数字文化评价指标体系的基础上,利用层次分析法对国家数字文化网站建设的现状进行评价,发现其存在网站资
当前图书馆活动已经渗透到社会生活的各方方面面,图书馆功能作用的发挥在社会信息化进程加快的今天尤为重要。图书馆管理是决定图书馆发展的最重要因素之一,应当重视图书馆管
消费者的医疗保健观念从过去的被动就医,甚至讳疾忌医,到如今Web2.0时代的积极管理,主动分享。消费者的就医模式也从原来的医院挂号临床就医,向着关注预防和日常保健、康复方
牧区的城镇化是我国整体城镇化中的重要组成部分,然而运用于农村城镇化的模式、路径并不一定适合推广至牧区,因此亟需探索出一条适合牧区城镇化的道路。多中心治理理论传入我