论文部分内容阅读
信息网络技术的飞速发展使信息的发布和共享超越了时空限制,基于自然语言处理技术的文档高质量自动处理成为热点研究课题。自然语言中普遍存在着歧义现象。计算机处理自然语言文档时,必然要面对和解决各种歧义问题。歧义消解成为自然语言处理中的核心任务之一。语言中的歧义错综复杂,本文认为,简单的单一分析不可能认识语言歧义的全貌,因而也就不可能高质量地消解歧义,只有对歧义进行多视角综合考察,才能达到此目标。为此,本文从纵横两个视角进行歧义研究。一、基于全信息理论的横向视角:信息有语法、语义和语用三个层次,语言信息同样如此。而每个层次都存在歧义,即有语法歧义,语义歧义和语用歧义。这个角度有助于从语言逻辑层面更清晰地研究歧义特征。二、基于语言单元的纵向视角:汉语的主要语言单元包括词、短语及句子等。而歧义在每一级单元都存在,即有词汇层歧义、短语层歧义以及句子层歧义等。纵向角度便于研究的具体实现,并有可能探索通用的消歧方法。综合这两个角度,本文研究的内容包括,从语法层看的词汇边界歧义和短语边界歧义,从语义层看的词汇多义歧义、短语功能歧义及短语结构歧义。在各种歧义的研究中,本文主要围绕歧义分类、歧义侦测和歧义消解三个问题进行。歧义分类研究各种歧义的特征,歧义侦测是为了发现歧义及确定歧义的位置,而基于歧义特点对侦测出的歧义进行消解则是语言处理的中心任务。从两个视角出发,集中解决三个问题构成了本文的研究框架。本文的主要研究成果包括以下几点:1.对汉语语言信息自动处理时的歧义在特征上进行了分类。将词汇级语法歧义分为交叠歧义和包络歧义两大类。提出了新的歧义侦测和消歧方法;2.利用级联分类方法改进了基于经验定义的短语识别的性能,有效降低了学习器训练时间,进一步从语义角度研究了复合名词短语定界歧义问题,同时实现了跨语料的短语识别及歧义研究;3.用粒度短语的观点处理汉语短语定义模糊的问题,实现了粒度名词短语的定义和识别方法;4.从短语功能角度完成句子骨架成分的识别,消解短语在句子中的句法功能歧义。