基于MapReduce的热点话题发现及演化分析方法研究

来源 :国防科学技术大学 | 被引量 : 0次 | 上传用户:green7116xxxx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息时代的来临,网络中的信息量呈爆炸式增长趋势,人们是对信息的处理提出了更高的要求。更多、更快、更准的进行信息处理就意味着可以掌握先机,可以得到更具有价值的情报,可以产生更大的经济效益。话题发现及演化作为增量式文本聚类的主要应用之一,具有很广泛的应用前景,在大数据背景下,现有的增量式文本聚类算法大多存在处理效率低下,处理结果较差等问题,很大程度上影响了话题发现的实时性,已经远远不能满足处理大数据的需求。本文首先介绍了热点话题发现的关键技术流程,比较了现有话题发现及演化算法的优势与不足,最终选择利用增量式文本聚类算法Single-Pass来实现热点话题发现及演化分析方法,本文针对传统Single-Pass算法处理文本的时间开销会随着文本增加呈指数趋势增长的问题,提出了一种基于MapReduce的Single-Pass算法,对分布式的Single-Pass算法做进行了可行性证明,实验结果证明算法的效率有了明显提高,针对简单的分布式Single-Pass算法无法详细描述话题的内部结构及演化过程,提出了一种分布式条件下的层次化Single-Pass算法,算法提高了话题的描述能力,实验证明分布式条件下的层次化Single-Pass算法提高话题发现的精度和准确度。其次,本文分析了现有网页文本的特点,根据网页文本的特点提出了一种合理的话题热度计算方法,通过加入衰减指数和时间片的概念,提出增量式文本聚类与衰减指数相结合的话题动态演化方法,通过话题热度计算公式计算每一个时间片内话题的热度,话题总体热度的计算是通过指数衰减的方式加和不同时间片内的话题热度,通过引入话题热度阈值和关键字热度阈值的概念提高了算法的可行性和效率,实验证明算法可行有效。最后通过在真实数据集进行试验来分析基于MapReduce的热点话题发现及演化方法的效能。实验证明算法提高了聚类的准确性、降低了算法的时间开销,基于增量式文本聚类与衰减指数相结合的话题演化算法的话题准确刻画了话题及子话题详细的演化过程。因此基于MapReduce的热点话题发现及演化分析方法在舆情监控领域有很强的应用前景。
其他文献
北京,人民大会堂辽宁厅。 3月20日下午,九届全国人大刚刚闭幕的第二天,“新时期党建研讨暨《共产党员》杂志创刊五十周年座谈会”在这里举行。 阳春三月的北京,正是春寒料峭
地、县级文化馆的主要职能是,围绕开展群众文化活动这个中心履行策划、宣传、组织、辅导、展示等职责.一切围绕“人”来开展工作,一切与“人”形成广泛的工作关系.因此,文化
有人说,当今社会上个体户是一盘散沙,可沈阳市大东区个体劳协党总支在区内市场开展“凝聚力工程”,把一个个闲散的个体凝聚成一个坚实的集体,把一片片散落的花瓣重新编织在
一、创设情境,孵化写作情趣《语文课程标准》指出:“写作教学要贴近学生实际,让学生易于动笔、乐于表达,应引导学生关注现实,热爱生活、表达真情实感”。作文教学中,教师应善
职高学生数学基础较差,对数学的学习兴趣不浓厚,厌学数学.通过让他们了解数学的作用和所学专业的关系,在日常生活中增进师生感情,创设数学氛围,在教育、教学过程中精心设计,
文化高地的加快构筑既是新时期“五位一体”总体布局的基本要求,同时也是促进河南经济高质量发展,使得中原地区更加突出的重要和必要举措.河南省目前既有政策基础,又有物质基
在新课改的不断的深入的背景下,初中阶段的道德与法制教学越来越受到关注.初中依然属于初等教育阶段,这个时期基本道德素养的形成对学生日后的良好性格和品质的形成有着非常
一、多些感情投资,春风细雨润心田爱心是教育成功的桥梁和保证。师爱具有神奇的力量,它能开启学生心灵,融洽师生情感,缩短师生距离。它能给学生以鼓舞,使他们感到无比的温暖,
成功的肖像描写,不仅能将人物的音容笑貌活灵活现地展现给读者,使人如见其人,如闻其声;而且还能表现出人物的性格特点和精神面貌,达到形神兼备、以形传神的艺术效果.
人民代表大会制度是我国的根本政治制度。依据我国宪法和法律规定,各级人大及常委会对政府工作实施监督,不仅是人民当家作主政治权利的最高实现形式,也体现了我国社会主义制