论文部分内容阅读
随着信息技术的发展,可以利用的信息资源越来越丰富。人们难以从这些资源中找到自己需要的信息,因此,自动问答、信息检索、信息抽取等技术应运而生。自然语言处理技术作为这些应用的基础,其重要性日益突出。自然语言处理技术是指使用计算机技术来研究和处理自然语言,包括分词、词性标注、句法分析、语义分析等。其中句法分析技术是一项关键性的基础工作,十分重要。
本文对自然语言处理中的句法分析技术进行了研究。分析了目前常用的句法分析理论和方法,比较其优缺点,选择概率上下文无关语法作为本文的句法分析模型,概率上下文无关语法具有很好的鲁棒性和可理解性,其概率计算相对简单,解析算法可以从上下文无关语法的解析算法直接扩展得到。
本文分析了汉语中一些词语的特殊用法,提出了语法功能词的概念,利用语法功能词对经典的概率上下文无关语法进行了扩展,得到了包含语法功能词的概率上下文无关语法,并从中生成语法功能词表。在此基础上,提出了基于语法功能词的概率Chart算法。该算法在Chart算法基础上,首先识别出所有包含语法功能词的短语,进一步分析这些短语之间的关系,最终通过概率计算,选择概率最大的语法树作为输出。同时,该算法通过引入省略句的语法规则,提供了两种解析标准:完整句和省略句,分别用于解析汉语中完整句和省略句。
汉语组块分析目前发展迅速,在最长名词短语识别、动宾短语识别等领域取得了不少成果。本文借助于知网中的中文信息结构库,尝试从语义角度进行组块识别,并把该方法作为基于语法功能词的概率Chart算法的预处理步骤,将输入句子中符合信息结构模式的相邻词语合并,以降低后续分析的复杂度。因为中文信息结构库的不一致性,我们对中文信息结构库进行了规范化处理。由于信息结构中管辖关系难以确定,我们没有考虑管辖关系,而且消除了其中一些重复的信息结构模式,并定义了义原标注集合,把输入句子中词语的标注结果使用标注集中的相关义原代替。使用基于信息结构模式的组块识别算法对输入句子进行分析,使用多种规模的信息结构模式库对算法进行了实验。本文的主要工作包括以下几个方面:
(1) 对当前句法分析领域常用的理论和方法进行了介绍,选择了概率上下文无关语法作为本文的分析模型。介绍了解析上下文无关语法的常用算法,选择Chart算法作为本文的基础。
(2) 分析了汉语中一些词语的用法,提出了语法功能词的概念,对经典的概率上下文无关语法进行了扩充,得到包含语法功能词的概率上下文无关语法,从中生成语法功能词表。在此基础上,提出了基于语法功能词的概率Chart算法。
(3) 分析了知网中的中文信息结构库在汉语组块识别中的作用,尝试使用中文信息结构进行组块识别。对中文信息结构库进行了规范化处理,在此基础上提出了基于信息结构模式的汉语组块识别算法。
(4) 以基于信息结构模式的汉语组块识别算法为预处理模块,基于语法功能词的概率Chart算法作为句法分析模块,实现了一个句法分析原型系统。并对实验结果进行了分析。