论文部分内容阅读
20世纪90年代以来,Internet在世界范围内得到了迅猛的发展,网上的信息资源得到了极大的丰富,同时,也带来了“信息爆炸”的问题——即信息极大丰富而知识相对匮乏。人们迫切需要寻找一条能够快速、准确获得所需信息的途径,自动文本摘要技术因其既可以压缩文本,减少用户的浏览负担,又可以为其它文本处理技术提供支持,逐渐成为国内外研究的热点。面对这瞬息万变的社会,无时无刻都有新的新闻大量产生。如何对这些新闻文本进行有效的存储、信息检索和情报挖掘成为一个迫切需要解决的重要问题。本文研究了面向新闻文本的自动摘要技术,在认真总结前人研究成果的基础上,着重解决了新闻文本的特征分析与提取、单新闻文本的自动摘要方法和多新闻文本的自动摘要方法这三个方面的问题。本文的工作和研究成果主要包括以下几个方面:1.深入分析了新闻文本的结构和语义等各方面的特征,明确新闻文本摘要的要素组成,提出了面向新闻文本的自动摘要技术框架,讨论了其中所涉及的关键技术。2.研究了适用于新闻内容的单文本自动摘要技术。针对新闻文本的词汇特点提出新闻文本预处理后的新词识别算法;在新闻文本特征分析的基础上,详细讨论了新闻文本的特征项提取和重要性判定算法,提出了针对新闻文本摘要的新的词汇特征和句子特征,改进了特征项的权重计算方法,使其对新闻文本的摘要更加有效;讨论了摘要生成后的润色和修饰。3.研究了适用于新闻内容的多文本自动摘要技术。根据相关事件新闻报道的特点,提出基于时间轴划分的多新闻文本自动摘要方法,将多新闻文本自动摘要分成相同时间新闻事件的自动摘要和不同时间新闻事件的自动追踪;在计算句子相似度时,加入语义的分析,消除同义词对句子相似度计算的影响;在确定新闻文本集的局部主题时,采用层次聚类算法并提出一种聚类数目的控制算法;最后,研究了针对新闻内容的多文本摘要的生成。4.设计并实现了新闻文本自动摘要系统。通过对提出的新闻文本摘要算法进行实验分析,证明其对新闻文本进行摘要的效果较好,基本能够满足目前的应用需求。