文本挖掘关键词提取算法的研究

被引量 : 0次 | 上传用户:jianting520
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的不断发展,大量的文本信息开始以计算机可读的形式存在,许多领域信息都呈现出爆炸式增长,因此如何在海量的信息当中,快速并准确地提取对读者有用的信息将是一个重要的课题。关键词提取就是一种解决上述问题的有效手段,关键词是对文章主题信息的精炼,使读者快速掌握该文本的重要信息,提高信息访问的效率,具有明显的现实意义。关键词提取是文本挖掘领域中研究的核心技术之一,起着十分重要的作用。信息的载体主要以文本为主,然而目前绝大多数文本信息还尚未提供关键词,同时目前存在的几种关键词提取算法,还无法很好解决多义词词义消歧、同义词冗余表达、构建的分类器训练过程中还可能存在过拟合、构建的词汇链不能准确表达文本语义结构等问题,为此本文提出了两种基于语义分析的改进方法,深入到语义层次,进一步挖掘出表达文本主题的潜在信息,提出的方法较好地解决了多义词词义消歧、构建的词汇链准确全面地覆盖文本主题信息等问题,同时避免了同义词冗余表达,尤其对同义词较多的文章效果更为明显。本文主要工作如下:1、基于语义词典和词汇链的关键词提取算法中文语义词典中《同义词词林》语义词典编码简单,比其他知识库拥有更为丰富且易于语义理解的同义词组的优势,同时词汇链很好地表达了文本的语义结构和多个主题信息。因此本文提出了一个完整的基于语义词典和词汇链的关键词提取算法KETCLC(Keyword Extraction based on Tongyici Cilin and Lexical Chain),通过分析《同义词词林》和词汇链的特性,将两者相结合并根据其结合的优势,对文本分别作预处理、多义词词义消歧、同义词合并、词汇链构建、有效特征选取及对权重综合计算改进的等处理来提高关键词提取的质量。2、结合语义扩展度和词汇链的关键词提取算法目前存在的构建词汇链的方法都是单纯采用语义相似度或者语义相关度计算词语间的语义关系,但是构建出来的词汇链不能准确全面地表达词语间的关联和语义关系,从而影响了文章主题表达的精确度和关键词提取的质量。因此,本文在KETCLC算法的实验验证基础上,提出了一个完整的结合语义扩展度和词汇链的关键词提取算法KESELC (Keyword Extraction based on Semantic Expansion integrated with Lexical Chain),基于《同义词词林》语义词典,从语义分析角度,计算语义相似度和语义相关度,并综合考虑两者得出语义扩展度及其计算方法,将语义扩展度和词汇链方法相结合进行关键词提取,有助于挖掘出出现频率不高但对文章具有重要贡献的词汇。对上述两种方法分别进行实验,实验结果表明,KETCLC算法和KESELC算法都能充分考虑语义知识,不仅避免了同义词冗余表达,而且较准确全面地覆盖文本的主题,具有较优的提取质量。
其他文献
介绍了目前复合板生产工艺的研究开发现状以及各种工艺方法的特点,探讨了复合板生产技术的发展趋势,认为连铸工艺是复合板技术的发展方向.
汉代墓室壁画不但展现了汉代高超的造型艺术,还是中国早期的绘画艺术发展过程中的一个不可或缺的组成部分。河南汉代墓室壁画能够代表汉代绘画艺术水平,是中国绘画艺术的瑰宝。
对于对象管理组织(OMG)发布的CORBA/e规范,一般通过改变现有CORBA实现的接口或进行裁减等方法来得到与之对应的实现,但对特定领域的嵌入式应用,此类实现存在体积比较庞大、ORB等关
印染废水水量大、化学需氧量(COD)高、色度高、成分复杂多变且含有有毒有害成分,是难处理的工业废水之一,采用传统的处理方法在COD去除和脱色上存在一定难度。超临界水氧化(S
由于单一产业的市场需求是有限的,因此当企业所从事的产业市场占有率达到一定程度,企业发展将遇到瓶颈。为实现企业“做强做大”的梦想,一些企业开始主动开辟第二战场,进而发
昨(16)日,省十三届人大二次会议举行第二次全体会议。会上,省检察院检察长冯键向大会作工作报告,回顾2018年全省检察工作并对2019年重点工作进行部署。$$2018年,是检察机关转型发展
报纸
量子级联激光器是一种基于量子阱中子带间电子跃迁发光的单极型光器件,其波长可以通过能带工程对量子阱进行裁剪而不受半导体禁带宽度的限制,极大的扩展了光波范围,成为中远红外
教育全球化、信息化的背景下,中国教育信息化时代已经到来,我们的教育方式、方法发生着翻天覆地的变化。《国务院关于基础教育改革与发展的决定》中专门提及合作学习,指出:“鼓励
投资银行是经济发展的金融产物,是资本市场重要的中介主体。它伴随着资本市场的产生而发展,同时又在资本市场不断创新与求变中快速成长壮大。投资银行在资本市场中发挥着强大
研究了水体中低浓度镉(1μg·L^-1)单独存在以及低浓度镉(1μg·L^-1)和腐殖酸(1mg·L^-1、10mgg·L^-1)共存情况下河蚬对低浓度镉的蓄积和释放,以了解实验室条件下