基于语义分析的文本挖掘研究

被引量 : 0次 | 上传用户:xiansong2001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,以电子形式存储的文本开始泛滥,很多人们需要的信息往往被大量的垃圾信息所淹没,如何自动地从这些文本中挖掘出有用的信息将成为一个重要的课题。中文作为使用最多的语言之一,其文本挖掘就非常重要。文本分类作为文本挖掘中的一个重要分支,其步骤为:训练样本的选取、文本表示、特征提取、构造分类器、验证分类器性能。传统的文本挖掘方法是一种基于统计的方法,它以词频作为分类结果的主要影响因素,而不考虑词序、词义等更多的语义信息,在加权阶段采用了无指导的特征加权方法,没有充分利用已带类标签的训练数据。相对于基于统计的文本挖掘方法,基于语义分析的方法能考虑更多的文本信息,从而大大提高文本挖掘的性能。语义分析主要集中在特征提取这个处理步骤中,采用词典这种基于外部语义知识的方法对文本挖掘有着很大的帮助。为此提出了一种基于语义分析的特征提取方法以及针对加权步骤提出了一种改进的有指导的加权方法:1.基于《同义词语林》的文本特征提取:基于《同义词语林》的文本特征提取是一种基于语义分析的文本处理方法。中文的语料库相对较少且杂乱,能够拿来研究使用的也只有《同义词词林》,并且在此基础上也没有一个系统的文本分类方法。针对以上问题,提出一个完整的基于语义的文本处理方法,该方法利用了《同义词语林》编码的特性,对文本分别作了多义词消歧、同义词替换和搭配词组合的处理。2.改进的有指导的特征加权方法:传统无指导的加权方法并没有充分利用分类数据的特性,无法反映词在各个类别之间的比例关系。本文通过分析一种有指导的文本特征加权方法,虽然该方法克服了传统加权方法的缺点,却没有考虑词在整体本档之间的关系。针对以上问题,提出一种改进的基于指导的文本特征加权方法,实现了词在总体文档及各类别文档之间的综合考虑。对上述两种方法分别进行实验,结果表明,基于《同义词语林》的文本特征选择方法有效地降低了文本特征向量的维度,且两种方法都有效地提高了文本分类的精度。
其他文献
媒体网络等传播手段的发达使现代学生很难静下心来慢慢品味一部作品,对于文学作品的赏析也人云亦云。本文从日语专业文学教育的视点解析《蛛丝》中的人性本质,提出日语专业文
<正>2013年春节转瞬即至,又到了人们走亲访友、欢度佳节的时候,但同时也到了药品虚假宣传最猖獗的时候。利用各种集市、庙会悄悄兜售假劣药品,利用人们的从众心理大肆推销"具
猪肉是我国人民肉类食品的主要来源,其安全性受到广泛的关注。饲料在很大程度上直接决定着猪肉的卫生与安全。本文从饲料因素如药物和重金属残留、化学性污染和生物性污染等方
犬瘟热(Canine distemper, CD)是由犬瘟热病毒(Canine distemper virus, CDV)感染引起犬科、釉科以及浣熊科等多种动物的一种急性、热性和高度接触性传染病,感染动物临床上主
2009年1O月23日,创业板在深圳证券交易所正式设立。由于在创业板上市的中小型高科技企业普遍具有业绩不稳定、经营风险高、退市风险大等特点,而我们深沪市主板市场因为进入门
三级跳远是一个对身体素质要求较高,技术比较复杂,身体素质与技术高度统一的项目。正是由于它的这一特殊性,该项目自200多年前出现以来,技术一直在不断发生着变化。由最初的
建筑自千百年来就与人们的生活息息相关,其历史缘起于住宅房屋,这也是所有建筑物中占据数量最为广泛的一种建筑类型。作为和人们关系密切的住宅房屋不仅是悠久历史的见证者,
借助计算流体动力学软件Fluent,采用有限体积法、非定常N-S方程、Realizable k-ε湍流模型及无滑移壁面边界条件对微电子机械系统(MEMS)微型热敏传感器进行三维数值模拟. 全面
随着2011年3月15日媒体曝光的双汇集团“瘦肉精”事件成为公众瞩目的焦点,产品质量、食品安全、质量监督等再次成为热门话题。在我国构建和谐社会背景下,公司社会责任的缺失
近年来,为了筹资、完善风险管理和公司治理等以增强自己的整体实力,我国多家商业银行逐步走上上市的道路。截止到2010年底,我国共有16家上市银行,其中,全国性大型商业银行5家