随着人工智能的蓬勃发展,自然语言处理作为机器理解人类语言的一项关键技术变得越来越重要。自然语言处理的基本任务主要分为词法分析、句法分析和语义分析,其中,句法分析处于承上启下的核心地位,它承接底层的词法分析,把词法分析的结果句法化之后输出给上层的语义分析使用。因此,句法分析在自然语言处理中的地位非常重要。传统的句法分析模型虽然取得了较高的分析性能,但它们使用了大量手工设计的原子特征和基于这些原子特征的高阶组合特征。而基于这些手工设计的组合特征的句法分析模型需要做大量的特征工程,代价很大。近年来,随着机器学习,特别是深度学习的流行,涌现出一批基于神经网络的句法分析模型。这些模型的优点是神经网络能够对特征进行自动建模,充分利用了神经网络极强的表示学习能力,自动对原子特征进行组合,避免了大量的特征工程,并且,基于神经网络的句法分析模型也获得了比传统的句法分析模型高得多的性能。但是现有的基于神经网络的句法分析模型依然有很多问题。首先现有的基于神经网络的句法分析模型采用通用的神经网络对句法结构和句法标记进行统一建模。然而句法预测本身是有内在层次的,当前的网络结构没有考虑到句法分析的层次关系。其次句法分析是一个多步决策的过程,现有方法在训练时仅对单个决策做局部优化,容易导致错误传播和标记偏置等问题。最后句法分析需要依赖长距离的信息,全局特征对句法分析非常重要。传统的k-best重排序模型是一种较为有效地利用全局特征的方法,但是k-best重排序算法是静态重排序,它的训练数据受限于有限的k-best候选集,缺乏训练的多样性,从而使得全局特征没有得到有效的利用。针对上述的问题,论文在标准的神经网络的句法分析模型的基础上,从设计更优的网络结构、采用全局优化的训练过程,以及有效地利用全局信息这三个方面改进原来的神经网络句法分析模型,主要工作如下:1.论文提出了一个基于层次化神经网络的句法分析模型,该层次化神经网络与句法分析任务紧密结合,针对句法结构和句法标记之间的层次化依赖关系,引入一个层次化的网络输出层。该网络先预测句法分析的结构,再预测对应结构的句法标记,并分别计算概率,从而能够解决句法结构和标记之间的内在关系没有显式地被网络建模的问题。实验表明,对于成分句法分析和依存句法分析这两个任务,论文提出的层次化神经网络在模型精度以及模型速度方面均取得了较好的性能。2.论文提出了一个结构化的神经网络句法分析模型,该模型尝试对多步决策做全局优化,缓解了局部优化的神经网络模型带来的错误传播问题。论文结合了启发式柱搜索以及对比学习的方法,在线性复杂度下对句法分析模型做全局优化,直接对整个句法树进行建模,大大缓解了标记偏置和错误传播的问题。实验表明,采用论文的方法显著地提高了句法分析的性能。3.论文提出了一种基于柱搜索的动态神经句法重排序模型,该模型可缓解全局特征在重排序模型中利用不充分的问题。该工作在重排序模型里尝试引入搜索,将搜索和学习这两个过程融合起来。由于所有的待训练候选树都是动态搜索出来的,因此,在训练过程中这些候选树可随着模型的变化而不断变化,这样就提高了重排序模型的训练多样性,有效地利用了全局特征。实验表明,该方法提高了重排序模型的性能。4.论文提出了一种基于组块(浅层句法分析)的双时间轴神经机器翻译模型,验证了句法分析对上层应用能够提供有效的支持。论文尝试在做神经机器翻译的时候先翻译一个组块,再去翻译组块里包含的词,在翻译词的过程中有效地利用了组块的信息。论文通过引入双时间轴的循环神经网络对整个基于组块的翻译过程自动地进行建模,显著地提高了神经机器翻译的性能。