中文文本自动分类的研究

来源 :哈尔滨工程大学 | 被引量 : 0次 | 上传用户:fengaitong1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文较系统地综述了中文文本分类中自动分词技术、特征提取技术、文本分类模型和性能评估技术的研究现状和研究方法。较全面地讨论了贝叶斯方法、k近邻方法和支持向量机等三种中文文本分类方法。作者采用三个模型,实现了朴素贝叶斯分类器、k近邻分类器和支持向量机分类器三个中文文本分类器,集成了一个实用性较强的实验系统。 深入地分析了k近邻方法的不足,提出了改进的k近邻方法,提高了分类器的性能。 重点讨论了支持向量机的相关问题。概述了统计学习理论的主要内容,推导了支持向量机方法在文本线性可分、线性不可分和非线性可分情况下实现分类的数学公式,将学习问题转化为一个在等式约束和不等式约束下的凸二次优化问题,总结了求解的过程。针对超大规模文本库的训练与评估问题,采用分解算法,迭代求解,然后利用基于Leave-One-Out技术的ξα评估方法快速有效地计算错误率、准确率、召回率和F1指标。证明了分解算法的有效性,在实验系统中采取了五种加速训练的措施。采用组合结构实现N个类别的支持向量机多分类器。针对支持向量机多类器中存在的文本漏识问题,采取kNN方法和特征匹配方法进行后处理,对失效文本实施二次分类,改善了多分类器的性能。 实验表明,三种分类器都适合于中文文本分类的需要,其中支持向量机分类器的分类结果稳定,精度高,性能最好。而将k近邻方法和特征匹配方法与支持向量机相结合形成的支持向量机多分类器更加适用于中文文本分类的需要。
其他文献
自我责任心是未来社会对人才素质的一项基本要求,是一个人健全人格的基础,它的培养是素质教育不可缺少的重要内容。本文以马克思主义为指导,从以下几个方面对城市初中生自我责任
经济发展是一个复杂的系统工程,在整个经济系统中,产业结构是整个经济发展动态过程的有机组成部分。产业结构变化是经济发展到一定规模和水平的产物,同时它又是经济进一步发展的
股东代表诉讼制度是维护股东权利的一项重要制度,该项权利若行使得当,对公司利益的改善意义重大,但遗憾的是我国公司法对此尚无明确规定,而我国的社会经济实践却对股东代表诉讼提
绳拉物的问题一直以来都是高中物理教学的难点,"双绳拉物"更是令人难以捉摸,它常常使学生甚至不少物理教师感到困惑不解.本文从分析学生提出的解法出发,通过与教师解法对比,
大学英语档案袋评价是档案袋评价理念在大学英语教学领域的具体应用,但并不是"档案袋评价"与"大学英语"的简单匹配,而是应该作为一个整体嵌入大学英语教学过程。从理论上,大
本文叙述了社会保障制度含义、产生过程、产生依据,论述了社会保障制度在我国的特殊意义、社会保险基金营运良性循环机制与社会保障制度的关系、社会保障制度与社会保险基金营
研究生英语立体化教材是现代信息技术发展和现代教育理论相结合的必然产物。本文探讨研究生英语立体化教材建设的必要性、理论基础及模式,并讨论教材建设过程中需要考虑的问
本文论述了在高职院校迅速发展、高职教育竞争日趋激烈的新形势下,在高职院校导入CI的重要性和迫切性。并从CI涵盖的三大方面内容(理念识别、行为识别、视觉识别)出发对高职
在我国,玉米除了利用提取淀粉外,几乎没有什么其他的利用的用途。而在玉米中含有丰富的蛋白质,虽然这些蛋白质利用率不是很高,但在加工成玉米淀粉之后却白白的浪费掉了。在提取玉