文本分类中特征选择的研究与实现

被引量 : 0次 | 上传用户:mackolxsbou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
特征选择在文本分类中起着重要作用。针对互信息特征选择方法在不均衡语料集中分类效果差,卡方统计特征选择在均衡语料集中分类存在不足,提出改进互信息特征选择和卡方统计特征选择的思路与方法,设计并实现了一个中文文本分类系统。论文研究工作如下:1)对于互信息特征选择在不平衡语料集上分类效果较差的问题,研究并分析了影响互信息特征选择在不均衡语料集中分类效果的因素,用平衡因子调整正相关和负相关特征比例,加强负相关特征的作用;同时引入特征分布差异因子,区分类强相关特征,通过实验证明,改进的互信息特征选择方法提高了分类效果。2)针对卡方统计特征选择方法偏向选择高频特征词以及只考虑特征在所有文档而不是在每类文档中出现的文档频率的问题,采取限制负相关特征对分类影响的方式,使其不忽略低频词,再结合由于偏向选择高频词从而可优化分类效果的对称不确定熵因子,同时引入文本自相关因子来区分不同文档对分类的重要度,以提高分类效果。3)本文除了做了以上研究,还设计并开发了一个中文文本分类系统,在该系统中实现了几种常用特征选择方法,包括互信息特征选择方法,信息增益特征选择方法,卡方统计特征选择方法,文档频率特征选择方法和文中两种改进的特征选择方法,并且通过实验比较了它们的分类效果。
其他文献
下颌骨前段骨折(包括正中联合及旁正中的骨折)是下颌骨骨折最常见的类型之一,且常常与髁突骨折同时发生。受解剖因素的影响,这类骨折一旦处理不当容易出现包括面下部增宽,咬
为了让学生了解和掌握“涡流”知识,利用简易材料设计了在电磁炉上用水煮亮LED灯实验,本文介绍了实验的制作方法和演示过程.
主要介绍了聚乙炔、聚吡咯、聚噻吩、聚苯胺、聚对笨乙烯撑这几类导电高分子在近年来的研究进展。综述了提高导电高分子的电导率,改善其溶解性及可加工性的方法,以及导电高分
利率是非常重要的资金价格,利率市场化是发挥市场资源配置作用的一个重要方面。目前我国利率市场化改革正进入深化阶段,在此阶段,相关经济主体的核心利益受到冲击,中小银行存
党的十八届四中全会掀开了"全面推进依法治国"的崭新一页,法治思维作为法治实现的思想基础和重要条件,再次进入人们的视野。法治思维是法治社会最基本的思维模式,是实现国家
自20世纪80年代以来,经济全球化的步伐越来越快,市场竞争日趋激烈,在这种竞争中,一个企业想要取得竞争优势,必须不断提高其整体效能和绩效,而提高绩效的有效途径则是进行绩效
在对城镇化和生态环境指数综合评价的基础上,通过耦合协调度模型定量分析长株潭城市群城镇化与生态环境的耦合关系及其演变趋势,其结果表明:(1)长株潭的城镇化综合指数呈现不
做好"创学指数"的构建工作,可以有效解决学习型党组织创建活动有丰富内容而无远期规划、有具体行为而无有效考核、有实际成效而无综合评估的问题,对于推动学习型党组织建设向
在当今素质教育的影响下,无论是老师,还是家长,都对学生提出了更高的要求,在努力学好学校所学课程知识的同时,更要求要求他们在多个方向全面发展,于是我们的教学就面临着重要