论文部分内容阅读
随着现代科技的高速发展,报纸、书籍、科技文献等以文字为载体的信息大量涌现。尤其是在计算机和国际互联网络高速发展的带动下,每天都会有不断涌现的海量信息。为了能从这些海量的信息中快速、准确的找到用户需要的信息,文档的自动摘要处理成为越来越被关注的研究课题。作为自然语言处理领域的一个重要应用,自动文摘涉及到了大量的理论和应用技术。人们对中文自动文摘的研究已经有20多年了,限于相关领域所有的技术水平,自动文摘系统还不能进行完全的自动语法、语义和语境分析,摘要结果还属于指示性摘要范畴。基于目前的研究现状下,采用统计学方法发现文章特征,获取文章特征信息,在此基础上建立一个自动文摘系统,能生成一个简单、准确、全面的摘要,使用户能快速的从海量信息中获取有用的信息。本文结合目前的研究现状,利用统计学知识,考虑文章的体裁、类型,针对文章中出现的特征词的性质进行不同的打分,设计出一个基于特征信息提取的中文自动文摘系统。研究主要包括以下几部分:(1)研究比较了当前自动文摘研究方法,分析了基于统计的方法的可行性及其适用范围;(2)本文提出一种基于特征信息提取的中文自动文摘方法,分析原始文本中的特征词关系和特征,构造向量空间模型;通过计算句子的重要度以及去除文章冗余等方法,获得文摘结果;(3)设计一个基于特征信息提取的中文自动文摘系统;(4)为了验证提出的中文自动文摘方法的可行性与有效性,本文采用内部评测对开发的文摘系统进行评估。分别从国家语委语料库中抽取不同体裁以及不同学科类型的两组语料进行评测,通过对评测结果进行分析,了解基于统计的方法的利与弊,分析基于统计的方法对于文章体裁的不同产生的文摘结果不同的原因,为今后进一步完善文摘系统提供了一条有意义的探索之路。