汉语依存句法分析方法的研究与实现

被引量 : 0次 | 上传用户:tcfan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
句法分析是自然语言处理研究中的关键技术之一,其任务是根据给定的语法,自动推导出句子的语法结构。它对于机器翻译、信息检索、信息抽取、文本分类和自动文摘等自然语言处理系统都有着极其重要的意义。句法分析是依赖于某种语法理论的,在形式语法体系中,依存语法逐渐成为研究人员重视的热点。依存句法分析技术也不断得到发展和完善,并在英语等印欧语言中取得较好的研究成果。但目前为止针对汉语在依存句法分析方面的相关研究并不多见,汉语的依存分析研究成果与比印欧语言逊色得多。为此,本文采用基于统计理论的学习方法,针对汉语特有的语法特点,对汉语的依存句法分析方法进行了研究和探索。本文主要采用决策式的依存句法分析方法,解决了汉语句法分析中存在的一些问题。本文工作的主要贡献和创新点如下:1.提出并实现了一种针对汉语长句的决策式分析方法CLDP。该方法针对汉语复杂长句句法分析存在的困难,考虑一种“分而治之”的处理策略,采用分层分析的方法,把复杂的句法分析问题分解为几个易于处理的子问题,以降低分析难度,提高分析效率。本文提出并实现了非贪婪的考虑长距离依存的决策式汉语分析方法N-CLDP。该方法利用汉语句子中根的唯一性对长句进行了分割。实现时,利用机器学习方法SVM设计了一种高效的根搜索器Root-Searcher,该根搜索器Root-Searcher可以标记出每个句子的根结点,依据根结点,句子被分割成两个子句。对子句分别进行依存分析后,进行子句的连接。把两个子句的根结点合二为一,合并两个子依存结构,从而得到长句的完整的依存结构。实验数据表明,本文构造的根搜索器Root-Searcher具有较高的准确性。在长句占的比例较大的训练集和测试集上,本文的方法达到了较好的分析性能,有效降低了句子的复杂度,显著地提高了句法分析器的准确率。2.提出并实现了一种基于二段式的子句依存分析方法TSP。本文针对决策式依存分析中存在的Early-reduce问题,设计并实现了二段式的子句依存分析方法。该方法采用了有效的特征组合,利用二段分析,特征复用等手段有效解决了汉语右依存中动词与动词之间,以及动词与介词之间的VP Early-reduce问题,并且降低了算法的贪婪性。另外,本文提出并实现了子句的双向分析策略BSP。根据分割后句子的特点,以及汉语语言所具有的投影性特征,提出了采用向前分析和向后分析相结合的策略。在分析时将从前向后与从后向前两种分析方向结合使用。实验中将二段式句法分析策略与一次分析进行了性能比较,并考察了句法分析方向对于分析结果的影响。实验结果表明本文的二段式的子句依存分析方法TSP提高了句法分析器的性能。子句的双向分析策略BSP也比单向分析获得了更好的分析效率。3.提出并实现了一种基于介词短语右边界的自动识别的依存句法分析算法RPP。根据介词短语的语用特征,提出一种对介词短语的后续词进行分析的方法,相应得到介词短语右边界的识别方法。通对过介词短语的分析,有效解决了决策式分析方法在分析介词短语时存在的缺陷。避免了分析介词在长距离依存时,由于过早比较、提前决策依存关系出现的错误。实验结果表明本文实现的基于介词短语右边界的自动识别的依存句法分析算法RPP对汉语的介词的长距离依存分析是有效的。
其他文献
<正>透明隔腔(cavum septum pellucidum,CSP)是标志胎儿中枢神经系统正常发育的一个重要指标[1]。美国超声医学会(American Institute of Ultrasound in Medicine,AIUM)最新
生产管理经历了泰勒的科学管理、福特的大批量生产方式、通用的多品种生产方式、丰田生产方式后,发展到精益生产方式。无论哪种生产方式,提高生产效率一直是制造业管理者孜孜
行政监察制度是国家政治制度的组成部分,其基本功能是通过廉政监察、执法监察、效能监察三项职能的充分发挥,实现对政府行政部门和工作人员行使重要权力行为进行有效监督,确
平民化道路是当今各家电视台获取观众,得以生存、发展壮大的必由之路。曾经高高在上的电视媒体,如今都不约而同地将普通老百姓的需求放在极其重要的地位,尽量满足为数众多的
用语音实验的方法对元江傣话单字音声调的语音材料进行实验分析表明,元江傣话单字音声调的声学特征是每个声调的声学分布空间和调值都是具体的。
在体验经济的时代背景下,人们的消费环境、消费结构发生了巨大变化,消费者不仅重视产品和服务,更渴望获得消费体验的满足,力图满足消费者体验需要的体验营销便应运而生。90年
江西铜业集团公司作为全国首批、江西省第一个循环经济试点单位,针对企业自身能源和资源消耗大的特性,通过新技术的研发和应用、项目建设和现有工艺装备的改造,围绕"三率"提
生态文明作为一种新的文明形态,是人们基于对工业文明弊端的反思提出的一种力图实现人口、资源、环境之间协调发展的文明范式,代表了人类文明发展的新方向。随着党的十七大报
伯纳德·马拉默德是当代美国文学史上著名的犹太裔作家,其作品大多以犹太人为主人公,反映犹太人在历史与现实中所受到的种种苦难为主要内容,并在此基础上折射出整个人类的生
庄子《逍遥游》之文,历来多有歧见。笔者以为悟得《秋水》意趣,才可达于"逍遥"之境。《秋水》表达了庄子对宇宙图式的猜想和对人的根本处境的理解,"井蛙"之喻与柏拉图"洞穴"