中文文本分类特征选择方法的分析与研究

被引量 : 0次 | 上传用户:huangom444
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在中文文本分类中,特征选择是降低特征空间维数的一种常用方式。本文在认真学习各种特征选择方法和总结前人研究成果的基础上,主要针对信息增益特征选择方法在类分布不均匀文本集上分类效果下降,互信息特征选择方法在类分布均匀文本集上分类效果低下的问题,对信息增益和互信息特征选择方法分别提出了改进的思想,同时还开发了一个中文文本分类系统。主要研究工作包括:1)分析了传统信息增益特征选择方法忽略了特征项在类间、类内分布信息的缺点,引入类内分散度、类间集中度等因素,区分与类别强相关的特征;针对传统信息增益特征选择方法没有很好的组合正相关特征和负相关特征的问题,引入比例因子来平衡特征出现和不出现时的信息量,降低在不平衡语料集上负相关特征对分类的影响,提高分类的效果。2)针对互信息特征选择方法不倾向于选择高频率特征而导致的分类效率低下的问题,引入特征与类别共现概率P(c,k)来选择与类别强相关的特征词,提高分类效率;考虑到互信息特征选择方法忽略了特征在类别内部分布的均衡程度对于分类的影响,引入了类内分散偏差来表征特征在类内部分布的均衡程度,对互信息特征选择方法进行改进。3)基于以上的分析和研究,本文实现了一个中文文本分类系统,在该中文文本分类系统中实现了常见的四种特征选择方法和文中改进的信息增益、互信息特征选择方法,然后通过实验的方式对以上算法的分类效果进行了比较和评估。该系统为进一步研究中文文本分类的相关技术提供了一个平台。
其他文献
湘东北地区已知规模较大的金矿床主要为石英脉带型。目前构造蚀变岩型金矿床较少,因此有关此类矿床构造地球化学成矿模型的研究甚少。文章选取区内规模最大的构造蚀变岩型金
文章通过对技术性贸易措施概念的介绍入手,说明其在新的全球一体化大背景下所表现出来的更加"合法",操作更加隐蔽,覆盖面涉及愈来愈宽等特征,阐述其对我国的影响,并提出了一
通过论证健康进餐行为具有创新性、自成目的性和给予性三个特征,认为健康进餐行为是一种以幸福为目的的、值得追求的可能生活方式;它不仅关注幼儿生命成长的需要,还关照幼儿
文中阐述了笔者这几年在烟台港从事引航工作过程中遇到的几种突发状况,并结合理论联系引航实际,总结出了一些行之有效的应对防范措施,希望能给经验缺乏的年轻引航员一定的帮
内蒙古是农牧业大区,目前我区农业和农村经济正处在新的快速发展阶段,而作为我区农村金融主力军的农村信用社的改革却相对滞后。今年内蒙古被列入第二批全国2 1个深化农村信
分析了我国独有的高速往复走丝电火花线切割机床的市场分布、容量、在国内外的应用状况及技术发展水平和目前存在的主要问题。根据高速往复走丝电火花线切割的技术特点指出其
国内的行政审核制度和法律规制使得资本市场上可转债的发行主体、方式、产品设计及投资者主体与台湾地区、美国市场等地存在显著的差异。国内可转债的法规设计更注重可转债的
为测定3种复方中药对锦鲤的诱食活性及促生长的影响,采用触球法对锦鲤摄食行为进行分析试验。结果表明:3种配方复方中草药都有较强的诱食活性,且诱食活性的强弱与复方中药的
目的评价慢性盆腔炎外用中药的护理方法以及效果。方法 140例慢性盆腔炎患者,随机分为对照组和观察组,各70例。对照组予以单纯西医治疗和常规护理,观察组予以外用中药治疗及