目前信息技术的增长速度正达到一个前所未有的高度,人们在享受信息技术带来的便利同时每天也会产生大量的数据,而如何从这些存在大量冗余的信息中挖掘出有效的信息已经成为了一个非常重要的问题。同时在这些数据中,文本信息数据是其中最常见也是最难以让计算机理解的信息,因此自然语言处理技术作为一个非常关键又非常具有挑战性的方向应运而生。在自然语言处理领域里,句法分析研究又是其中非常重要的一项基础任务,与计算机对于人类语言的理解程度息息相关。句法分析在许多下游任务中都有广泛的应用,如问答系统和情感分析等等。句法分析（该处指成分句法分析）是对于一个句子解析出其句法结构树结构的方法,目前大多数句法分析主要通过在解码模型上做出改进以提高效果且大多数方法都是基于有监督数据的方法。与目前的方法不同,本文在Transformer模型的基础上加入了对句法结构隐式建模的模块,从而在编码过程中加入了句子结构信息,同时基于还原词序的训练方式改进了模型的训练方式,使得模型具有更好的适应性以及更好的效果,本文的主要工作如下:（1）基于编码过程中加入句法信息的思想,对于无监督编码模型做了一定的改进,在多头自注意力层前加入了一个新的对句子中句法成分先验知识进行计算的模块——结构注意力层,这个计算出来的句法成分先验知识用于表示一段单词集合（顺序地包含两个或两个以上单词）能否构成一个短语。这个结构注意力层相当于对句子的结构进了隐式地建模,这本质上其实是针对性的加入了一个专门学习句法结构信息的模块,因此使得在计算词与词之间的相似性时将短语的结构信息,句子的结构信息都考虑进去了。（2）在原掩码语言模型训练的基础上对训练方式进行了改进,由于考虑到原来预测掩码词的训练方式与下游无监督句法分析任务的关联性不是特别大,因此加入了与句子结构信息更相关的还原词序训练方式,在训练前预先对一定的词组进行打乱的操作,最终让模型还原词组的正确顺序以提高模型的鲁棒性并在提升句法分析的效果的同时降低语言模型的困惑度。本文在该领域公开的权威数据集Chinese Tree Bank 9.0版本上进行了一系列实验,并采用无监督句法分析领域中广泛使用的困惑度以及准确率、召回率、F1值来作为对于模型性能的评价指标。通过实验结果可以说明,本文提出的方法相对于该领域内的常用方法相比,具有良好的性能,可以有效提高句法分析的效果。