基于语义的中文文本特征降维方法研究

被引量 : 0次 | 上传用户:lw_hualei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的发展,文本信息呈几何级数不断增长,人们已经被淹没在信息海洋中。如何有效的组织、管理和利用这些文本信息,并快速、准确的从信息海洋中寻找到所需要的信息,是当前人们所要面对的一大挑战。文本分类在很大程度上解决了信息杂乱无章的现象。而文本数据的高维性和稀疏性可能导致分类精度的下降,因此特征降维作为文本分类过程中不可或缺的环节,已经成为信息科学领域的研究热点。作为模式识别、数据挖掘等领域中的一项重要预处理步骤,特征降维通过删除无关的冗余、噪声特征,达到降维的目的。然而,由于传统的特征降维技术仅仅考虑词语的统计信息,而忽略词语本身所含的高层语义,所选特征集往往不能从语义层次完整、准确的表达文档的意思。而中文作为一种表意型语言,其句法结构复杂,用词多变,一词多义和多词同义的现象严重,在降维的过程中更要充分的考虑词语的语法、语义信息。本文针对传统降维方法丢弃词语本身语义的缺点,在降维的过程中考虑了语义信息。首先分析了传统特征降维的缺点、中文文本特征降维的必要性及文本分类和特征降维的国内外研究现状;然后提出了一种基于语义的降维思路,通过引入潜在语义索引技术,对原始特征项进行潜在的语义挖掘,随后将特征项投影到低维的语义空间中并计算其语义相似度,应用聚类算法对所有特征项进行聚类融合,达到对特征项进行二次降维的效果。最后,为了验证所提出的语义降维方法的有效性,在基于ICTCLAS和Lucene的基础上搭建了文本分类实验平台,并选用传统χ2降维方法进行文本分类对比实验。实验表明,本文所提出的基于语义的中文文本特征降维方法在降低特征空间维度的同时,能够挖掘词语间的语义信息,提高降维后特征集合的质量,提升文本表示质量,从而提高分类性能。
其他文献
近年来,Web2.0作为第二代互联网,使用户所处的信息环境内容更加丰富、信息环境渠道更加便捷。Web2.0的到来,不仅使用户的信息需求发生变化,而且Web2.0的工具和服务使用户的信
川西水平井水平段较长,套管下入困难,套管不易居中,影响顶替效率。采用尾管悬挂固井方式大大降低了套管中途遇阻的风险,悬挂后回接固井可以更好地封固套管重叠段,对提高固井
随着知识经济全球化趋势的增强,各国农业科技革命迅猛发展,多数国家政府将农业推广工作作为提高农业生产率的重要政策措施。各国农业要抓住机遇,适应经济全球化的挑战,最根本
随着测控通信技术的不断进步与发展,对频率源的相位噪声、频谱纯度和频率稳定度等性能给予更严格的要求。目前的频率源一般使用下面四种倍频方式:直接倍频、模拟锁相倍频、数字
作为我军武器装备系统结构的重要组成部分,军用软件具有高安全可靠性的特性,其质量将直接影响到系统使命任务的完成以及系统的安全程度。为了确保军用软件的高安全高可靠性的实
基督教是世界范围内主要宗教之一,信徒众多且影响广泛,自唐朝初次传入我国始,已有1300余年。早期经历了唐朝、元朝和明清时期三次大规模入华传教,明末清初之际基督教入华传教的历
通过邻硝基甲苯及2,4-二硝基甲苯与芳香醛在超声辅助下反应,制备了11个1,2-二苯乙醇类化合物,其中5个未见文献报道,所有目标化合物的结构均经过IR,~1H NMR进行分析确认,对其
延迟折扣最初是在行为经济学领域用于描述人类行为决策过程的。延迟折扣是指人们对事物的价值感会随着时间的流逝而降低。以往的实验都以获得奖赏为决策对象,发现人们宁可选择
自从1973年B-S期权定价的数学模型出现以来,金融数学的研究已经得到蓬勃的发展,并取得了非常丰硕的研究成果,同时在国际上对期权定价以及其风险的度量研究也得到了不断的发展,但
随着我国经济的发展,环境恶化和资源匮乏日益成为了企业与公众关注的焦点,企业相关利益群体对企业环境信息披露的需求也就越来越多,尤其是重污染行业迫于政府和公众的压力,对