基于语义统计分析的网络舆情挖掘技术研究

被引量 : 112次 | 上传用户:yinhuali
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的发展和网络应用的普及,互联网成为民众获取信息的重要来源,同时也成为人们传播信息和表达观点的重要渠道。通过网络了解社情民意,关注舆情动向,对于促进社会和谐稳定、推动社会民主与法制建设具有重要的现实意义。网络信息浩如烟海,鱼龙混杂,人工识别和研判显得力不从心。如何利用计算机网络技术、人工智能技术和数据挖掘技术,对网络舆情信息有效地挖掘和分析成为了一个新的研究热点。如何识别民众所关注的热点话题并有效地分类,如何判断民众对社会事件的态度是正向的还是反向的,如何分析和把握社会热点事件的波动性等,是网络舆情研究中的亟需解决的重点问题,对认识和引导网络舆情具有重要的科学意义。本文针对网络舆情信息的挖掘和分析中存在的问题展开研究,将基于Web的文本分类技术、机器学习算法研究、波动性的统计分析等技术应用到网络突发事件的分类、网络舆情信息的情感倾向性分析、舆情演变的波动性分析等研究中。主要的研究内容和创新点包括:1.本文提出将Fisher判别准则应用到网络舆情文本的分类问题中,并实现对突发事件的分类。由突发事件引发的网络舆情信息,从内容形式来看主要为文本,因此舆情信息的分类本质上是文本分类的问题。Fisher判别准则是解决降维问题的有效方法之一,但在文本分类中研究较少。本文将Fisher判别准则作为分类的特征提取的方法应用于文本分类,并应用于网络突发事件新闻报道的分类。针对舆情的相关研究,将突发事件按照公共安全的四类,即突发自然灾害、事故灾难、公共卫生事件和社会安全事件进行分类。实验证明,Fisher准则的方法略逊于信息增益,但比较其他特征选择方法都更好。2.本文提出基于类别相关度的局部潜在语义分析的算法LR-LSA,改进了局部潜在语义分析算法进行文本分类。分析介绍了潜在语义分析的原理,包括奇异值分解和计算文档间相似关系的方法。通过分析潜在语义分析方法的局限性,提出算法LR-LSA,先利用SVM分类器给每篇文档一个类别相关度,然后根据相关度的大小选择生成局部区域的方法。在中文Web文本语料的两组分类实验中,验证了算法LR-LSA比LSA和LC-LSA更有效。3.针对机器学习方法在情感倾向性分析中对情感语义信息考虑不足的问题,本文提出了将情感模式和机器学习相结合的方法PMML,并应用于Web评论文本的情感倾向性分类。介绍了情感倾向性分析的相关研究,包括不同粒度级的基于情感词典分析的分类方法,以及基于机器学习的情感倾向性分类方法。利用本文提出的方法PMML对Web评论文本分类,在对原始语料文本进行基本的分词之后,先进行关键词提取,再进行模式匹配来提取情感评价短语,匹配成功后形成相应的情感特征序列,分别计算每个特征的情感倾向值,再通过机器学习的方法最终得到文本的情感倾向。实验验证了PMML方法较之机器学习的方法在分类效果上的有效性。4.本文提出基于GARCH类模型的网络舆情信息演变的波动性研究方法。在热点事件的传播过程中,波动性是其重要特征之一,强烈的波动往往意味着信息内容的不断传播和各种流言的不断蔓延,存在转变为突发事件的可能性。通过分析网络舆情演变过程中的波动性的特点,如变化率序列呈现的异方差性、尖锋厚尾性等,对比金融领域的波动性,本文提出基于GARCH类模型的波动性研究方法。通过热点事件在主流搜索引擎中采集到的Web页面数,定量地分析与这个事件相关的舆情演变趋势。选择社会热点事件“温州动车事故”,通过收集数据,分析变化率,分别建立了GARCH, EGARCH, TARCH模型。实证分析了说明GARCH类模型对舆情演变的波动性分析的可行性。
其他文献
LED参数测量和质量控制是LED封装产业中重要的环节,在应用领域内,大功率LED光源在汽车车灯上的应用是将来的必然趋势。LED的封装产业和应用领域中,存在一些难以解决的问题:如
彩叶植物因其色彩鲜艳、易于形成大色块景观等特点,可以弥补城市淡花季节色彩单调的缺憾,已越来越受到园林设计者的青睐,特别是随着人们生活水平的提高及城市园林建设步伐的
死刑是剥夺一个人生命权的刑罚,是我国刑法规定的最严厉的刑法手段。案件事实是适用死刑的依据,但案件事实必须依靠证据来证明。在死刑案件中,证据问题更是直接决定着被告人
<正>本刊2009年开设下列栏目,欢迎来稿。电影批评对内地公映的国产片、合拍片、港产片进行专业分析,务求具有批评性、思想性与专业性。理论探讨电影本体理论、电影美学、电影
监理在公路工程建设中发挥着重要的作用,实行监理制度的目的是为了对公路工程的进度、费用和质量等进行合理的控制以达到工程预期的效果。费用控制是公路工程监理的重点,直接
设计艺术不论是在丰富人们的视觉享受、提升人们的生活品质、还是在促进经济社会发展等诸多方面都起着越来越重要的作用。由于设计艺术在产品创新中所扮演的角色日益凸现,因
金融工程理论在金融工具定价、利率变化模型、金融风险控制技术、银行资产负债管理决策模型、保险数学等研究方面取得了最新进展。尽管金融工程的快速发展丰富了风险管理技术
研究了变频器在长线传输时产生的过电压问题,理论分析表明,电动机端过电压与PWM变 频器采用的开关器件上升时间和PWM变频器与电动机之间的电缆长度密切相关:上升时间越短, 电
会馆是中国独有的文化符号。重庆湖广会馆是现存城市中规模最大的古会馆建筑群,河南社旗山陕会馆被业内人士称为“中国第一会馆”。河南山陕会馆是在明末清初“食盐开中”“
为了分析永磁直线同步电机特性及搭建电机驱动机电系统全局模型,基于键合图法建立了PMLSM模型,并在模型中考虑了直线电机特有的端部效应特性。用类似于旋转电机的分析方法得