基于概率上下文无关语法的句法分析研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:zht336
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文论述了基于概率的上下文无关语法的句法分析的原理及实现过程。本文首先回顾了自然语言的发展历史和应用范围,同时介绍了句法分析在自然语言中的重要的地位和本文的主要工作。然后介绍了句法分析的常用的分析方法,并对本文的基于概率的上下文无关语法的句法分析器所采用线图分析法作了重点介绍,分析了这种方法的原理以及优点。本文的句法分析器是基于概率上下文无关语法的,这种方法是统计分析模型中比较成功的一种模式。在本文的第三章详细介绍了PCFG的排除句子歧义的原理,并用具体实例加以阐述。基于概率的分析,当然最重要的就是概率的提取问题,在本文的第四章给出了提取概率的详细算法及实例,解决了基于概率上下文无关语法的三个重要问题。即采用向内向外算法,在给定一部概率上下文无关语法的前提下,计算句子的概率;采用Viterbi算法,在给定一部概率上下文无关语法以及句子前提下,找出最为可能的分析树。采用向内-向外算法,为语法规则选择概率,使得训练句子的概率最大。在对真实的句子进行句法分析的时候会遇到很多问题。本文第五章针对一些具体问题提出了一些解决方案,取得了一定的成效。主要有以下几个方面。1)根据汉语,既缺乏形态变化,又缺乏作为句法标志的黏着成分的外在特征,本文采用了短语本位的思想。2)针对汉语的具体特点,在本文中设计了预处理系统,系统利用特征词在对句子进行综合分析之前预测句子的句法结构,换句话说,预处理实际上是部分句法分析,它起着导引综合分析的作用,避免了不必要的计算。3)在本文中针对基于统计句法分析中数据稀疏问题,采取了数据平滑技术,使该问题得以缓解。4)在汉语中特定的句法范畴与特定词类之间的共现关系,在本文的句法分析器中,句法分析的歧义消解引入这类共现信息。即本文提到的制约法消歧,也就是利用句法、语义等制约条件排除不能满足制约条件的结构,从而达到消歧目的。在第六章列出了本句法分析器实验结果,并与其它几种统计句法分析模型进行了比较分析。最后,本文分析了本系统的存在的缺陷及一些改进措施。
其他文献
为解决在Internet 上信息传输的安全问题,必须在互联通信网络中建立并维持一种令人可以信任的环境和机制。应用最有效的安全技术,建立电子商务安全体系结构,成为电子商务建设
信息技术的飞速发展使得计算机软硬件系统的应用领域不断扩大,其规模和复杂程度也日益提升,软硬件系统的正确性和可靠性问题日益严峻,同时带来了许多不可估量的风险。要保证软硬
无线通信技术的快速发展和移动终端性能的提高使移动自组网在军用和民用领域的应用日趋广泛,人们对于移动自组网安全性、可靠性的要求也与日俱增。由于移动自组网与传统有线
自由飞行空间机器人FFSR(Free-FlyingSpaceRobot),又叫机器人卫星RS(RobotSatellite)或空间机械臂(SpaceManipulator),由卫星本体和其上搭载的机械臂组成。自由飞行空间机器人
随着Web服务及相关技术的迅速发展,企业业务集成逐步过渡到面向服务的体系结构之上。如何基于面向服务的体系结构集成分布、自治的Web服务,成为目前迫切需要解决的问题。动态
数据库技术的广泛应用对时态信息的管理提出了挑战。到目前为止,许多研究者在关系数据模型的基础上提出了种种时态关系数据模型,但是由于关系模型本身的限制使得这些模型在实
信息技术的飞速发展,以及商业化的大力推广,使得嵌入式系统深入到我们的日常生活和工作中。对于大多数嵌入式系统来说,它的核心是嵌入式实时操作系统。目前,市面上可供用户使用的
智能机器人是一个对外界环境高度开放的智能系统,由一系列具有独立问题求解能力的子系统组合而成。机器人各子系统在自主地完成各自的子问题求解的同时,在黑板的干预下互相协
经过近十年来的发展,工作流技术已经日渐成熟,并在许多领域成功应用。但是,随着企业的全球化和Internet 的迅速发展,业务过程逐渐延伸到了企业之外,多个合作伙伴参与的协作的
嵌入式操作系统是高端嵌入式系统的一个重要组成部分,其应用越来越广,尤其在功能复杂、系统庞大的应用中显得更为重要。随着嵌入式系统应用的不断深入,支持多平台已成为嵌入