基于相关性分组原理的中文文本分类特征选择方法研究

来源 :温州大学 | 被引量 : 0次 | 上传用户:q28100125
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科学技术的迅猛发展,尤其是信息技术的突飞猛进,互联网已经深入到人们的日常生活之中,随之而来的就是信息量的海量增长。人们每天接收、发送的信息中有很大一部分都是以文本的形式存在,因此,如何管理这些海量的文本信息成为了一个不得不面对的问题和挑战。文本自动分类技术能够帮助人们高效、便捷地管理大量的文本信息,在信息检索、信息过滤、搜索引擎、文本数据库、数字化图书馆等领域都有着广泛的应用前景。随着文本分类技术的日益成熟,其应用也越来越广泛,而中文文本分类技术由于具有一定的特殊性,成为了研究的热点。但总体来说,文本分类都要包含文本预处理、特征选择、特征加权、分类算法、分类结果的评价等主要步骤,其中的每个步骤都会影响最终的分类效果。文本预处理的主要作用是将文本转化为计算机能够读取的结构化形式,并对数据进行初步降维;特征选择是主要的数据降维的环节,选出具有代表性的特征子集表示整个数据集,方便后面的处理;特征加权是对特征子集中的每个特征赋予不同的权重。然后选取适当的分类算法,训练分类器,最后对分类器的分类性能进行评估,调整分类器参数,直到分类效果达到评价指标。通过以上步骤,就能得到一个优秀的文本分类器,用来对文本进行自动分类,方便、高效地管理文本信息。本文的主要贡献总结为以下几点:(1)分析了文本分类的几个主要环节,并讨论了中文文本分类的特殊性。例如,中文文本在预处理的分词阶段需要按照词组甚至短句来分词,这和英文中按照单词之间的空格来分词有很大的区别,大大增加了预处理的困难度,甚至会成为影响中文文本分类最终结果的重要因素。(2)重点研究了文本分类的特征选择环节,分析了传统的特征选择方法以及较为流行的机器学习中的特征选择方法的优点和不足。针对拉普拉斯评分算法忽略特征之间相关性,容易选择重要但是却互相重复的特征这一缺点,本文提出了一种基于特征相关性分组的拉普拉斯特征评分算法,使得算法更加完善。(3)进一步改进了本文提出的特征相关性分组原理,并且在其他特征选择算法上进行了推广,甚至应用于其他图像分类中,发现了对于多数特征选择算法的效果都有明显提升。
其他文献
在金融国际化的全球快速推进的背景下,国内各家银行为保证在金融市场中的优势地位,唯一的出路是在竞争中求发展,进行金融创新.建设银行与兰州交通大学合作建设和实施的校园卡
非线性代数方程组的求解问题是代数学的基本问题。非线性代数方程组的求解可以转换为求解多元多项式系统的公共零点,有些多项式的公共零点可以构成仿射簇。在吴方法中研究代数
要重视从学生的生活实践经验和已有的知识中学习数学和理解数学,这是《数学课程标准》的基本理念之一.现行《九年义务教育课程标准实验教科书(数学)》每册教材中都安排了一些
随着数字化时代的发展,需要存储、传输和处理的信息的数量成指数级地增加。图像作为数字信息的重要组成部分,是信息交流的重要载体,也是蕴含信息量最大的媒体。因此图像压缩作为
图像是人获取信息的重要途径之一,所以为了更方便、快捷地获取信息,对图像进行处理是有必要的。现在的图像大部分都是数字化存储,数字图像处理是一门年轻的交叉学科,它的理论越来
在小学阶段,语文是一门比较重要的学科,学生学习丰富的语文知识,对其文学素养与表达能力的培养具有重要意义.在教育体制改革与深化的条件下,为了全面提高语文教学质量,需要对
该文中,我们讨论了单摆方程及其在辛算法和非辛算法作用下平衡点及其相轨线保持和破坏的性质,得到了若干理论和数值结果.众所周知,单摆方程的平衡点分为椭圆平衡点和双曲平衡
本文主要研究了两类基于比率且具有时滞的种群动力系统模型,即具有离散时滞的恒化器模型和具有分布时滞的捕食-被捕食模型。它们在生物数学上体现了不同的意义。 第一章,简
Winer-Hopf方程作为积分方程中的一类特殊方程,有着极其重要的理论和实际意义,近些年来其数值求解方法得到了广泛关注。Winer-Hopf积分方程是定义在半无穷区间上卷积型奇异积分
随机模糊变量是从模糊变量中引伸出的一个新概念.用数学术语来说,随机模糊变量是一个从可能性空间到随机变量集合的函数.也就说,随机模糊变量是将模糊变量的值域(实数域)随机化