基于语义相关的在线热点话题发现算法的研究与应用

来源 :西安石油大学 | 被引量 : 0次 | 上传用户:qwertasdfg122
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络舆情是网民对于各种事件的刺激而产生,并通过互联网传播的人们对于该事件的所有态度、认知、情感和行为倾向的集合。某件事在网络上引起网民的广泛关注成为热点话题,是转化为网络舆情的必经阶段。因此,关于热点话题发现的研究在网络舆情分析中的应用显得尤为重要。本文的热点话题发现算法主要由两个部分组成主要包括:话题发现和热点评估。其中话题发现算法是对经典single-pass增量聚类算法进行改进,改进点包括两个方面,一是区别传统的文本相似度计算,以文本的语义相关度计算作为话题聚类标准,提高话题发现的准确性。语义相关度计算方法步骤:首先通过选取语料库对PLSA模型进行训练得到相关性矩阵,然后计算词汇与文本间的相关度,计算文本与文本之间的相关度以达到相关度的计算目的。第二点改进是阈值的选取方法,由于话题类别不同对应的话题物理分布呈现出不同的特点,故区别于传统的随机取值,本文通过选择特定领域新闻文本预语料对PLSA模型,以步进式训练方法得到该领域话题聚类的阈值取值范围,将提高算法的领域性。热点评估是将发现的话题进行热度计算,通过计算得出话题的热度情况,并以该热度为标准有序的呈现话题情况。最后,设计并实现基于教育新闻网站(网易教育新闻和新浪教育新闻)的在线热点话题发现系统,以检验热点话题发现算法在舆情系统中的实际应用效果。系统的功能为抓取新闻网页信息并进行热点话题发现,系统主要的核心模块为热点话题发现模块、Web页面数据预处理模块、信息采集模块和热点话题显示模块。
其他文献
敢于担当是新时代好干部的重要标准之一。领导干部要做到敢于担当,必须具备勇德、勇识和勇为三种素质。其中,勇德包括果断性、坚持性、积极性,勇识包括大局观、人民观、务实
农村信用合作联社是我国农村金融服务链条的关键一环,在支持农业生产和农村综合发展、促进农村经济结构调整、盘活农村闲散资金等方面发挥了重要作用。2003年,国务院印发了关
受封建传统文化观念、影视文学作品的负面渲染以及少数女性领导干部不端行为的误导等影响,女性领导干部易发生家庭、工作、人品等方面的负面传闻。对此,女性领导干部要掌握以
随着我国经济的不断发展,企业对于管理会计人才的要求越来越高。管理会计是会计工作的重要分支,能够为企业提供全方位的服务,提高企业的管理水平。管理会计可以将各项信息进
龙溪小学是一所有60多年建校历史的中心学校,现在已发展成为重庆市文明礼仪示范学校、重庆市安全文明校园、重庆市示范书香校园。面对义务教育内涵发展、特色发展的新形势、
要实现烟草行业的可持续发展,必须紧跟新零售的发展趋势。本文阐述了新零售的概念及对烟草行业的意义,分析了打造新零售模式的主要途径,即把握技术核心、利用大数据支撑,突出
房地产行业的发展随着我国经济的变化也迎来了新的形势,由于房地产行业在我国的经济发展中占据有重要地位,是我国经济的重要支柱。因此对于房地产行业的管理方面需要加强重视
领导权力具有管理学、社会心理学、法学三重属性,其实质是法律心理社会化。在法律心理学视域下,领导权力的心理机制主要表现为增加社会距离、激活趋近系统、诱发控制错觉三个