[目的]对谷歌发布的BERT语言表示模型的主要优化改进方法进行梳理,为后续基于BERT的相关研究开发提供借鉴.[文献范围]自BERT发布以来,到目前与BERT模型优化改进相关的41篇主要文献及相关模型.[方法]根据模型优化改进的技术路线,从改进预训练目标、融合外部知识库、改进Transformer结构和预训练模型压缩4个方面,分别阐述优化改进的方式及产生的效果.[结果]预训练目标优化和Transformer结构改进最早受到研究者关注,并且成为BERT模型优化改进的主要方式,随后预训练模型压缩及外部知识库的融合也成为新的发展方向.[局限]BERT模型相关研究发展迅速,可能未覆盖一些相关研究工作.[结论]研究者可重点关注预训练目标优化和Transformer结构改进方面的研究,同时考虑根据不同应用场景选择模型优化方向.