基于机器学习的文本分类研究

被引量 : 16次 | 上传用户:yzymd_223
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术尤其是因特网相关技术的发展与成熟,人们可获得的信息越来越多。面对海量信息,一方面是人们对快速、准确且全面获取信息的渴望,而另一方面却是信息的杂乱无序。如何尽可能有效地组织和管理信息,是信息处理研究的重要问题之一。因此,文本分类得到了广泛关注,成为自然语言处理领域最重要的研究方向之一。本论文研究了文本分类中特征提取,大规模文本分类和跨语言文本分类等问题。我们主要解决下面三个问题,如何高效准确的进行分类、如何利用大规模的文本分类数据以及如何在多语言环境下利用某种语言的训练集,去分类另外一种语言的文本的问题。本文的主要研究工作及创新点体现在以下五个方面:(1)将一个基于概率解释的多类特征选择算法应用在文本分类中。与将每个特征作为一个单一的个体的信息增益和χ2统计量等传统方法相比,这种多类特征选择的优势在于它通过线性支持向量机所特有的结构风险最小化原则来选择一个好的特征集。实验中使用了三种常见的多类分类器测试了该特征提取方法。实验结果均显示了该方法的有效性。(2)将最近邻算法的不同投票策略应用于文本分类中,并结合最小最大模块化网络来处理大规模数据的文本分类。一般情况下,最近邻算法在文本中采用相似性累加投票法,类似于机器学习中的反距离投票策略。本文将机器学习研究领域中最近邻算法的不同投票策略引入到文本分类中进行研究,而且进一步将它们引入到最小最大模块化网络中来处理大规模的数据。实验结果显示,高斯投票能在文本分类中表现出较好的综合性能。(3)将最小最大模块化支持向量机中的超平面数据划分方法应用在大规模文本分类中。最小最大模块化网络在处理大规模数据时,通常有三个问题,一个是集成什么样的分类器,第二个是模块冗余消除问题,第三个是数据划分问题。这里研究了第三个问题,即使用超平面划分方法到文本分类领域进行研究。传统的数据划分方法,一般使用随机划分和聚类方法划分。然而,随机划分方法可能会破坏数据本身分布的空间属性,聚类方法划分又过于消耗计算资源。超平面划分方法一定程度上克服了这两种方法的缺点。实验结果验证了该方法的有效性。(4)首次提出使用双语词典解决跨语言文本分类问题。在进行多语言分析的时候,通常需要一些额外的双语资源来沟通两种语言的差异,像双语电子词典,大规模的平行语料库和自动机器翻译等等。但是,跨语言文本分类,至今没有使用双语电子词典方面的研究。本文提出了一种跨语言朴素贝叶斯算法。该算法借助双语电子词典,第一次将单语言的朴素贝叶斯算法扩展到了双语言上。初步的实验结果验证了该方法的有效性。(5)提出了一种跨语言文本分类的精细框架。考虑到使用双语电子词典的词汇覆盖率可能会影响到最终分类的性能,本文提出了在目标语言中利用其语料之间的结构属性更新初始自动标注信息的思想。初步的实验结果显示了该框架的有效性。
其他文献
战略财务管理自诞生以来,以其关注企业财务活动的全局性,财务管理功能的突出性,财务管理目标的长远性,财务管理决策的重大性等功能特征,为企业有效应对复杂多变的形势与环境,提供了
结合上海某工程地下室外墙裂缝的实际情况,从设计、材料、施工等方面采取了针对性防控措施,实施后取得了显著成效。同时研究了几种灌浆材料的用于渗漏处理的相关性能。结果表
服装是大众日常生活的必需品,服装消费成为人们经济生活的重要组成部分。20世纪50年代以来,中国城镇居民服装消费经历了巨大的变化。其变化大致经历了经济恢复与限制购买、政
本论文主要运用Cirrus Logic公司的∑-△AD转换器CS5451A和TI公司的数字信号处理器TMS320F2801,对三相电网的电压量和电流量分别进行数字采集,采用数字低通滤波的方法对所采
本论文主要是在分析国内汽车市场不断发展的同时,深入研究了上海通用汽车的整车物流体系,它所面临的挑战以及未来的规划方向。全文主要包括五大部分内容。第一部分是对上海通
对于清代的知识女性而言,家庭生活基本上占据她们绝大部分活动时间、空间及其思想情感,在由一个家庭转移到另一个家庭之间,大部分女性完成了为人女,为人妻、为人母等一系列角
电动转向器是一种通过电机为驾驶员操纵转向系统提供助力的装置。这种转向器有别于HPS和EHPS,是一种直接依靠电机提供转向助力的动力转向系统。通过控制器的控制可以在驾驶员
新课程改革实施以来,传统的课程评价体系成为制约课程改革实施的一个主要方面,落后的评价体系和观念带来一系列评价问题,评价体系的改革与创新逐渐成为人们关注的焦点。高中
热塑性塑料的激光透射焊接以其优良的焊接质量、易于控制、可焊接微小零件(尺寸小于500μm)等诸多优点成为人们研究的热点,特别是汽车热塑性零件,激光透射焊接已成为该领域的
汉唐时期是中国古代音乐发展的重要阶段,乐府就孕育成长在这个时期,因此对汉唐时期乐府中的乐器、乐队及演变的研究是研究中国古代音乐文化的一个重要问题。成书于宋代的《乐