面向微博文本的主题探测与追踪研究

来源 :武汉大学 | 被引量 : 3次 | 上传用户:cucumber
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博平台已发展成为网民讨论社会热点事件和分享日常生活的重要社交平台之一。这些用户产生的内容(user generated contents,UGCs)在微博平台上以数据流的形式实时产生和动态更新。快速变化的微博流使得我们迫切需要开发一个有效的监测工具来实时分析微博中产生的话题及其演化趋势,这对突发事件预警、舆情疏导、产品营销、信息推荐等意义重大。面向微博文本流的主题探测与追踪是监测微博流的有效方法之一,它可实时探测网络上的热点动态,进而可以辅助监测人员及时作出应对措施。然而,微博文本的简短性、高噪声、低质量、快速变化、规模庞大等特点使得现有的主题探测与追踪方法面临4个主要挑战:(1)海量低质的微博文本使得主题挖掘的时空开销较大,难以满足实时性要求;(2)高维稀疏的文本向量空间使得现有聚类方法难以挖掘出有价值的主题信息;(3)面向微博文本流的新兴主题探测的及时性与准确率矛盾难以调和;(4)难以准确追踪和刻画微博流中的新兴主题在时间序列上的演化状态。本文针对上述挑战,构建一个面向微博文本流的主题探测与追踪的统一框架,该框架试图分别从微博采样、主题抽取、新兴主题探测与主题追踪等方面提出相应解决方案。本文的主题研究内容可概括如下:(1)针对微博文本海量低质的问题,本文提出一个基于时间-频率变换的高质量微博抽取方法,来从大规模微博文本中抽取出部分有代表性的高质量微博。该方法通过综合考虑微博内容质量、社交网络属性、URL链接等特征,并提出一个基于小波变换的特征融合算法来评估每个特征对微博质量的影响。在大规模新浪微博数据集上的实验结果表明,该方法能有效地抽取出微博集中的高质量微博,且微博之间的信息冗余较小。(2)针对现有基于向量空间模型的文本聚类技术对微博文本进行聚类时面临维度高、特征稀疏和噪声干扰等问题,本文提出基于频繁项集的短文本聚类与主题抽取方法。该方法首先研究短文本的多特征对文本质量的影响,在基于高质量短文本集挖掘出的大量频繁项集基础上,设计一个频繁项集过滤策略,可过滤掉85%的非重要频繁项集;然后定义基于相关文本集的频繁项集相似度,并提出聚类个数自适应的频繁项集谱聚类算法,实现频繁项集聚类与主题抽取;最后基于主题词将大规模短文本划分到相应的主题簇中,从而实现短文本聚类。基于100万条新浪微博文本的实验结果表明,该方法能够全面准确地抽取主题信息,并快速有效地实现海量短文本聚类。(3)针对面向微博文本流的主题探测面临的微博文本相似度难以准确度量、新兴主题词汇难以有效发现等问题,本文提出一个基于高效用模式聚类的主题探测方法。该方法首先从微博流中抽取出一组有代表性的高效用模式,并将其聚集成主题簇。由于该方法直接对语义更丰富的高效用模式聚类而不对充满噪声的微博文本聚类,因此其在大规模微博流上性能表现优良。此外,该方法可同时探测到新兴主题和背景主题。在大规模Twitter和新浪微博上的实验结果表明该方法比基线方法能更好的探测到两类主题。(4)针对面向微博文本流的主题探测与追踪的及时性和准确性需求,本文提出一个基于新颖性概率与衰退性概率的主题探测与追踪方法。该方法将基于时间序列的新兴词汇探测与基于文本空间的潜先设在主题挖掘相结合,来实现潜在主题的新颖性和衰退性评估。特别地,在该方法中,首计了一个基于局部加权线性回归的策略来评估词汇的新颖性和衰退性水平,可突显表达新兴主题的词汇新颖性,而压制表达背景主题的词汇新颖性。其次,通过设计和解决一个相应的最优化问题来获得主题的新颖性和衰退性概率,进而实现新兴主题探测。在100万条新浪微博上的实验结果表明,该方法不仅在新兴主题探测方面比基线基线方法取得更高的准确率、主题一致性和新鲜度,且在主题追踪方面表现优良。
其他文献
建筑工程造价指的是在建设某一项目工程时,所需要的全部费用,具体而言,建筑工程造价包括安装工程费用、设备购置费用、工程建设费用等等。本文首先介绍了建筑工程造价的概念,
结合我国众包现状,基于技术接受与使用整合模型(UTAUT模型),提出了改进的研究模型。通过问卷调查收集实证数据,进行信度和效度检验;采用结构方程模型(SEM)分析网络社区众包创
<正>2011年9月6日,我国国务院新闻办公室发表《中国的和平发展》白皮书,详细阐释了中国选择发展道路的方向以及中国的发展对世界的意义。通过这份白皮书,首次明确界定了国家
当今社会,互联网与我们的生活和工作关系越发密切,PDF文档的应用范围也不断扩大,它已经成为我们电脑中文档存储和网络传输过程中的重要格式。随着PDF的广泛使用,攻击者利用PD
近40年来,电视剧的音乐与剧集在水乳交融中已形成良性互动,构建了深度的互文性传播,歌曲传唱不衰,剧集影响深远。随着媒介技术和社会文化的变迁,电视剧音乐的传播主体、客体
钼铼合金具有优良的塑性、焊接、抗辐射等性能,在航天、核能等高科技领域有广泛的应用。详细介绍了钼铼合金的粉末冶金方法制备工艺、不同铼含量的钼铼合全性能及其它元素对钼
随着互联网的快速发展,以信息交换和数据分发为目的的电子文档传播日趋频繁,便携式文档格式(Portable Document Format,PDF)已成为了全球电子文档传播格式的事实标准。但同时
法治是治国理政的基本方式,法治建设成果直接关系到国家的长治久安、关系到人民的幸福安康、关系到民族的伟大复兴。党的十八大以来,习近平总书记就我国法治建设问题作出了许
中国具有悠久的农业文明历史,农业的发展也一直是我国的基础产业,在经济生活中占据基础性地位。当前我国农业发展正处于向现代农业的过渡阶段,农业的规模化、科技化、商品化正在逐步推进。2009年农业部为了规范和促进现代农业发展,启动了国家现代农业示范区创建工作,截止目前已经认定了3批共283个现代农业示范区,分布在各省份,面积共1.27亿亩,占全国国土面积的13%。从产业结构上看,全国13个产粮省份的现代