命名实体作为自然语言文本的关键语义信息,其识别与分类是目前自然语言处理中的重要研究内容。BERT模型通过预训练技术从无标签数据中学习到无监督深层双向表征,然后额外加一层分类器就可以在下游命名实体识别任务中微调后取得出色的性能,但是每种语言都必须学习独立的参数而无法在各语言间实现跨语言迁移。此时有可以支持多种语言的单一模型至关重要,而使用104种语言的语料库上联合训练的多语言BERT,在没有显式监督信号和平行语料库的情况下却可以学习到跨语言表示。实验表明,在良好迁移条件下,多语言BERT模型在每种语言的命名实体识别迁移学习中结果稍稍逊于单语言BERT模型,并且表现了其在资源稀缺语言的命名实体识别任务上出色的跨语言迁移性能。另外,深度学习的成功严重依赖大规模标注数据,相对于资源丰富语言,资源稀缺语言很少甚至没有人工标注的数据集,而多语言BERT模型可以在命名实体识别任务中通过零样本跨语言迁移很好地泛化到各种资源稀缺语言中。为了进一步提高多语言性,本文提出了基于线性旋转与基于非线性微调的两种跨语言对齐方式,利用平行语料库或者双语字典作为监督信号源来对齐多语言BERT中的语言子空间。前者旨在学习一个线性旋转变换,以将源语言嵌入空间投影到目标语言嵌入空间中的相应位置;而后者通过微调权重,最小化单词及对应翻译嵌入之间的均方差损失函数,从模型内部进行源语言嵌入空间和目标语言嵌入空间的对齐。实验表明,在结构化命名实体识别任务中基于旋转的对齐大大改善了多语言BERT的跨语言性,实现了较好的零样本跨语言迁移提升。而基于微调的对齐在某些语言上不仅没有助益,反而破坏了原始多语言BERT空间中的对齐,不适用于NER这种与语义无关的结构型任务。