一种面向微博客文本流的噪音判别与内容相似性双重检测的过滤方法

来源 :计算机应用与软件 | 被引量 : 0次 | 上传用户:testjmalt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博客作为一种新的用户信息传播载体,在网络舆情发起和传播中起着重要作用。由于用户有意(上传广告)、无意(转发)操作所带来的大量噪音微博和相似微博,对网络舆情分析和用户浏览造成极为不利的影响。检测这些噪音微博和相似微博,对微博数据进行提纯,成为一个亟待解决的问题。基于统计数据分析了噪音微博和相似微博的特点,提出一种面向微博文本流的噪音判别和内容相似性双重检测的过滤方法:通过URL链接、字符率、高频词等特征判别,过滤噪音微博;通过分段过滤和索引过滤的双重内容过滤,检测和剔除相似微博。实验表明该方法能有效地对微博数据进行提纯,高效准确地过滤掉相似微博和噪音微博。
其他文献
马克思和阿伦特都对资本主义意识形态问题提出了尖锐的批判。马克思指出资本主义意识形态具有"虚假性"特征,其"虚假性"根源在于实践意义的失落,他批判的旨归是唯物史观的确立
国际教育智库在促进世界教育发展方面发挥了巨大作用,本文以国际教育研究所为例,分析其在发展过程中所体现出来的特点:长短结合的规划方案、独特的目标实施方式、与时俱进的
国际金融危机爆发之后,房地产行业的整体发展都受到了很大的影响,加之近年来国内宏观调控的力度日益加大,大多数房地产企业的日常管理都出现了危机,其中内部控制方面的问题尤
台北101大楼是目前世界第一高楼,它不仅是技术上的挑战,更是文化及艺术上的挑战;本案在都市设计手法上,企图展现台北信义计划区的磁铁效应。以都市枢纽(Hinge Block)的功能运
<正> 第一炼钢厂修炉一车间20班班长王耀安被选为全国优秀班组长的消息很快在钢厂竟相传颂。这个老实得不能再老实的人之所以能获得这一殊荣,全凭他治班有方,四年使班组跃上
本文在广泛调查的基础上用数字揭示了我国当前建筑创作中因玻璃使用不当而导致能耗激增的严重问题,分析了造成上述问题的原因,并试图从理论上澄清某些存在于建筑师头脑中的关
对于虚拟人力资源的定义,国内外不同的学者从不同方面给出了不同的看法:McNerney(1995)认为虚拟人力资源是"自主服务技术在人力资源中的应用",这些技术包括:语音应答系统、桌
经济的对外开放程度和财政收入之间的关系对于研究经济发展和转型有积极作用。构建向量自回归模型(VRA)和误差修正模型(VEC)对1990-2010年的时间序列数据进行分析。实证结果
本文对会计课堂中的信息化教学进行讨论,首先对现状进行分析,并给出相关的使用方法。
与普通侵权纠纷相比,我国医患纠纷带有客观争议和利益争议的特点,使之难以单纯通过诉讼方式解决。目前全社会已形成制度共识,把调解作为化解医患矛盾的钥匙。对患方来说,调解