文本分类中特征选择方法研究—维吾尔语系

来源 :新疆大学 | 被引量 : 0次 | 上传用户:caritasSD
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着2015年召开的五中全会确定了大数据战略上升为国家战略,近年来“大数据开启智能时代”成为时代发展的潮流。大数据时代缔造者就是互联网,互联网的急速发展使数据量呈现爆炸式增加。在如此大的数据量面前,既给人们带来千载难逢的机遇又给人们带来了极大的挑战。很多有价值的信息被大量的无用数据淹没,使人们很难获得自己需要而且又有价值的信息,因此如何从大量数据中挖掘出人们需要的信息成为研究的重点方向。文本分类在数据挖掘领域是一项极为关键的技术,可以说是数据挖掘的核心部分,而特征选择方法在文本分类中扮演着不可缺少的角色,所以研究特征选择方法非常有必要。新疆是一个多民族发展的地区,维吾尔语在新疆使用非常普遍,互联网的发展同样也给维吾尔语发展带来了机遇和挑战。维吾尔文文本分类技术符合时代发展的潮流,这样维吾尔文分类技术就显得极其重要,所以本文主要对维吾尔文文本分类中特征选择方法进行研究。本文研究的主要内容和成果如下:(1)在深入研究分析传统信息增益的不足以及维吾尔语自身语种复杂特点的基础上,提出了一种改进信息增益的维吾尔文特征选择(WCIR-IG)方法。该方法从四个方面对传统信息增益进行了修正,首先结合类词频和特征分布系数以及倒逆文档频率,对传统信息增益进行修正;然后引入一个备选特征分布系数来平衡类间选取的特征数。实验表明,改进的信息增益算法有效性,选择的特征在每个类分布相对均匀,且特征项区分度明显,有效的克服传统信息增益的缺点。(2)针对传统的信息增益和卡方的优点和不足之处,提出了一种混合改进的维吾尔文特征选择(SIC)方法。该方法首先以类别为单位对特征项进行评估;其次对评估值进行归一化处理,避免了评估值过大或过小,便于分析;然后结合类词频弥补了两种算法都未考虑的词频缺陷;最后引入了两个调节因子,便于调节两种算法不同比重,使其实用性更强。在维吾尔语数据集上进行实验,实验结果证明混合特征选择(SIC)方法不仅提高了分类的准确率,而且该方法的鲁棒性强。(3)基于特征优化的特征选择方法,研究了经典粒子群算法,根据维吾尔语语种特点及分类的流程,改进了传统粒子群算法,并且把该算法运用到维吾尔文特征选择中。首先在第三章研究的基础上,利用传统信息增益进行特征粗选,降低了特征维度;其次把二次函数思想引入到惯性权重的变化中,使其在粒子搜索的过程具有不同的权重,开发能力和探索能力得到了充分体现;然后把特征选择的个数引入到适应度函数中,有利于降低特征的维度;最后在维吾尔文数据集上对改进粒子算法进行对比实验分析。结果表明,经过IG粗选和改进PSO精选后的特征子集类别的区分度明显,在一定程度上提高了维吾尔文文本分类性能。
其他文献
随着社会经济的飞速发展,中等职业教育能不能够适应社会经济发展的需要,很大程度上取决于目前教育能不能适应社会的发展要求。新的课程改革在各级学校的深入开展,中等职业技术学
自戈尔曼(D.Goleman,1995)的《情绪智力》中文译本问世以来,国内社会掀起了一股“情商热”,其中一个典型的群体便是大学生。近二、三十年,国内研究者纷纷开展了大学生情绪智力
近年来,美国的汉语教学迅速发展,美国国内对汉语学习提出了更高的标准,同时也对汉语教材提出了更高的要求。在大陆出版的教材不能适应和满足美国汉语教学需要的情况下,美国本土汉
被动句作为汉语和英语中的一个重要句式,一直是语法学家们研究的重点。英语属于印欧语系,是综合性语言,词与词在句中的语法关系主要靠词的形态变化和由一致关系所维持的主谓结构
留学生预科教育是对外汉语教育的一个重要分支,近年来在中国呈现逐年增长的趋势。有关预科教育管理的一系列问题,都值得对外汉语教育界的学者思考。本文以教育管理学的相关理
词汇是语言的一个重要组成部分,它是学习语言的重点和难点,而这其中尤以文化内涵丰富的熟语为重。汉语和英语中都存在着大量的动物词汇,他们除了称谓功能以外,还承载着厚重的社会
2011年2月,应美国屋面工程协会和多家美国公司的邀请,以朱冬青理事长为团长的中国建筑防水协会代表团一行23人,对美国进行了为期15天的访问。代表团参加了美国屋面工程协会(NR
拓展训练是一种有别于传统教学的学习方法和训练方式。它不是简单的体育加娱乐,它的本质是一种以身体活动为载体,以心理体验为手段的教育模式,实质上也是体育社会功能的体现
本文主要对建筑结构工程的耐久性现状进行了相关的分析,并详细阐述了耐久性在建筑结构工程中存在的问题,以及同时对其提出了相关的改进措施。
<正>2014年,习近平总书记在亚太经合组织(APEC)工商领导人峰会上对"新常态"首次进行了系统阐述:"新常态将给中国带来新的发展机遇。2015年两会上,李克强总理在全国人大会议开