近年来,伴随着互联网行业的高速发展,各行业与网络的关系也日益密切。虽然文本可以承载各领域中的数据信息,但是随着信息的指数型增长,垃圾信息的泛滥、信息重叠等问题日益严重。如何有效地从海量的文本信息中提取出有价值的信息,已经成为如今各行业在信息处理方面亟待解决的首要问题。自然语言处理(Neural Language Processing,NLP)是一种以理论为主要表达方式的计算技术,用于对人类语言进行提取、分析和表示,以达到人机无障碍交流的最终目标。序列标注作为自然语言处理领域研究的一个子问题,其标注的准确率严重影响到顶层任务的性能,如问答系统、机器翻译等等。所以,国内外的学者对序列标注问题做了众多研究,从传统的机器学习方法,到基于深度学习的神经网络,直到近期,研究者们相继提出了各种预训练模型,序列标注的准确率在不断的提升。本文研究的是序列标注问题下的语块分析任务以及命名实体识别任务,在传统的深度学习长短期记忆网络以及机器学习条件随机场框架之下,将其改进并提出了堆叠式双向长短期记忆网络(Stack Bi-LSTM)和新式半马尔科夫条件随机场(NSCRF)应用到序列标注任务中去。论文中分别在Co NLL-2000和Co NLL-2003官方数据集中进行训练和测试,经对比,在官方提交的论文数据中,我们提出的模型达到了很高的分值。随后,引入了谷歌2018年提出的BERT模型,采用剪枝的方法,对BERT模型进行简化,然后提出了BERT-Stack Bi-LSTM-NSCRF模型,将模型应用于宾州大学汉语树库(CTB)、CCKS2019 NER电子病历的数据集、Chinese GLUE的MSRANER数据集以及柏森发布的Boson NLP数据集中进行模型的训练及测试。经过与各任务的以往实验结果相比,我们的模型在各个数据集中都表现出良好的效果。由此可以看出,我们的模型在多语言、多领域的数据集中表现出了良好的鲁棒性。