基于统计方法的汉语依存句法分析研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:q19891210626
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
句法分析的任务是根据给定的语法,自动推导出句子的语法结构。句法分析性能的提高将对信息检索、信息抽取以及机器翻译等应用产生重要的推动作用。  在句法分析的研究中,依存语法以其形式简洁、易于标注、便于应用等优点,逐渐受到研究人员的重视。目前,已经被自然语言处理领域的许多专家和学者所采用,应用于多种语言之中。但由于语料资源以及技术等原因,汉语在依存句法分析方面的相关研究并不多。为了弥补这方面的不足,本文使用基于语料库的统计学习方法,对汉语的依存句法分析技术进行了探索。  首先,实现了一个包含分词和词性标注的词法分析系统,并增加了动词子类标注的功能。区分动词的语法属性是为了减少由动词引起的语法歧义,降低句法结构的复杂度。本文首先制定了一个动词细分类体系,将动词分为8个子类,然后使用最大熵的方法对动词进行子类标注,用以改善句法分析的性能。  其次,进行了短语分析的工作。名词复合短语是各种语言中的普遍存在的一种语法结构,对信息抽取、机器翻译等应用有很大的影响。由于传统的句法分析对此类结构的处理不够理想,本文对名词复合短语进行专门处理,以降低句法分析的难度。针对汉语名词复合短语的特点,本文提出一种基于隐马尔科夫树模型的名词复合短语分析方法,较好地解决了此类短语对句法分析的影响。  另外,句法分析对句子的长度非常敏感,随着长度的增加,句法分析的效率以及准确率均会受到严重的影响。为了减少句子长度的影响,本文对句子片段进行识别。先将句子划分为多个片段,并使用基于支持向量机的方法对每个片段类型进行识别;然后对片段进行依存分析,再识别出各片段之间的依存关系,最后将各个片段组合为一个完整的分析树。  在以上三种技术基础之上,根据汉语的特点,本文探索了一个高效的汉语依存句法分析算法。针对汉语语法结构灵活、树库资源不是非常充分的情况,本文使用分治策略对句子中的一些特定语法结构进行预处理。在搜索算法上,使用动态局部优化的确定性分析算法对句子进行解码,提高了搜索的效率。  为了检验汉语依存句法分析方法的扩展性,并探索单语依存分析同多语依存分析的不同之处,本文最后实现了一个基于分步策略的多语依存分析系统,并在CoNLL2006的数据集上进行了实验。通过对实验结果的分析以及同评测结果的比较,验证了本文方法的有效性。  本文前面的词法分析、短语分析、句子片段识别三部分工作是为句法分析服务的,每部分工作在不同层面上解决了汉语依存分析中的难点问题,对句法分析工作做了有力的支撑。后面的两部分工作分别在汉语和多语方面对依存句法分析做了理论和技术上的探索。
其他文献
作为社交网络的一种,论文合作网络由两个作者合作发表一篇论文的这种专业的关系组成。而社交网络的链接预测是一个重要的问题,其现实意义可以理解为给网络中的节点推荐好友节
高光谱遥感由于其较高空间分辨率和光谱分辨率的特点,被广泛应用于地球科学的各个领域。在整个高光谱图像处理流程中,混合像元分解技术是其关键环节和研究热点。但现有混合像元分解算法执行效率低,无法满足大数据量遥感图像的实时处理需求,而GPU/CUDA架构能够为算法提供接近计算机集群的高计算能力,利用GPU高并行处理能力和高存储带宽的优势来提高混合像元分解算法的执行效率是一种有效的研究思路。针对上述科学问题
移动机器人运动规划技术是自主移动机器人导航的核心技术之一,而路径规划技术是导航技术研究的一个关键课题。路径规划的任务是:依据一定的评价准则(如距离最短、时间最短、工
随着科学技术,特别是电子技术和计算机技术的发展,医学图像的采集和处理技术有了长足的发展。在此同时,也涌现出了许许多多的医学图像增强技术。医学图像是现代医疗诊断和医学研
全文检索系统支持快速从海量文本数据中检索信息,具有重要的应用价值。全文索引模型是全文检索系统的核心,它决定了全文检索系统的功能与性能。全文索引模型设计为全文检索研
在民航领域,如何及时准确地把握民航市场需求变化,是摆在民航业面前的核心问题。精准的航班需求预测模型可以帮助民航业提前感知市场需求、提高民航服务质量和企业收益管理水
随着人工智能、模式识别、数字图像处理等领域的日益快速发展,以及天网工程的逐步实施,智能视频监控技术已经成为人们关注的热点,并逐步发展为一门应用广泛的技术。视频中人
Near Field Communication作为一种近场通信技术在全球发展迅速,已经在世界各地广泛尝试,该技术不仅是普适计算的主要推动者之一,也为计算设备之间安全的数据交换提供了保障
准确地预测城市区域的人口流量,将会为政府和管理部门合理分配城市资源、改善市民出行体验、消除城市安全隐患等提供有效决策支持。城市区域人口流量预测是一个十分具有挑战性
伴随着计算机技术的发展和互联网的普及,人机交互在人们日常生活中显得越来越重要。随着图像处理、模式识别以及计算机视觉等相关技术的不断发展,人们开始研究更智能、更自然