基于投票机制的文本主客观分类系统

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:spiderkiss
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现今这个信息高速膨胀的时代,网络中充斥着太多有价值但却没有得到合理利用的信息,对大量文本进行批量的分类处理逐渐成为一种非常迫切的需要。其中对于用户通过互联网发表的自己的观点这种主观性文本进行分析和挖掘,识别出其中所蕴含的主客观性和情感倾向性,对于电子商务、舆情监控等各种领域有着重要的应用价值。本文研究的是微博文本的主客观分类。本文设计了基于投票机制的主客观分类系统,集成了包括基于线索密度、基于N-POS和基于条件随机场的三种方法。因此本课题的研究内容重点在于各个基分类器的优化和集成学习融合。本文首先介绍了文本分类系统的结构和流程,然后依次介绍了文本预处理相关技术、文本表示模型、文本特征表示方法中的特征空间选择方法等关键技术,为后续继续进行文本主客观分类研究提供了基础的技术支持。在基于线索密度的主客观分类模块中,本文提出了主观线索的概念,并对主观线索进行统计验证,采用了新型的线索权重,引入了线索密度的概念来衡量文本的主观性程度,提出了两种特征权重计算方法,并比较它们对于主客观分类性能的影响。在基于N-POS的主客观分类模块中,本文提出标准N-POS主观模式库的概念和基于N-POS主观模式的主客观分析算法,探究了决策用经验主观程度阀值和主观模式选取比例对分类效果的影响。在基于条件随机场的主客观分类模块中,本文提出了适合的从标注序列中抽离出主客观分类结果的算法,通过增量学习的思想完备了特征模板项,探究了不同特征模板以及分类结果抽离算法中主观权重对分类效果的影响。在系统集成实验中,实验结果显示集成学习的引入使得整体主客观分类性能提高2%,表明了集成学习在文本主客观分类领域的可行性。
其他文献
随着多媒体技术和互联网等的广泛应用和快速发展,在网络上传输各种视频数据已经成为现在网络技术发展的趋势,而由于网络带宽受限等原因,需要对原始视频数据进行压缩,因而出现
期刊
随着信息与网络技术的发展,以及这些技术在军事领域的不断渗透,计算机网络已成为连接未来信息化战场的枢纽。对计算机的攻击,能够获得大量宝贵的情报以及达到其它武器系统所
期刊
随着网络信息技术在风力发电中的应用,风电场SCADA系统的安全访问控制变得越来越重要,它是保证风电场信息与控制可靠性的关键问题。IEC 61400-25标准的颁布为风电场监控提供
计轴设备用于实时检测轨道区段的状态,其作用等效于轨道电路,通过比较列车驶入或驶出轨道区段计数点时所记录的轴数,以此确定该轨道区段处于占用还是空闲状态。目前我国还在广泛
Ad Hoc网络是指由一组带有无线通信收发装置的移动节点组成的一个多跳、自组织、无中心节点网络。随着Ad Hoc网络中节点的快速移动,网络拓扑结构将会不断变化,因而传统的用于In
高效视频编码标准(HEVC:High Efficiency Video Coding)是继H.264/AVC之后的新一代视频编码标准。HEVC相较于H.264/AVC采用更加灵活的数据结构,如编码单元(CU:Coding Unit)、
期刊
现在Android反编码技术越来越成熟,恶意开发者将Android应用进行反编码,加入恶意负载,然后重新包装之后放置于各种Android应用市场,诱使用户下载。恶意负载产生的服务通常在