论文部分内容阅读
人工智能的第三次浪潮正在改变着人类的生活。作为人工智能的一个分支,自然语言处理技术能够帮助机器分析理解人类的自然语言,是连接人类语言和机器的桥梁。而命名实体识别作为自然语言处理的基础技术之一,它的准确与否对后续任务如信息检索、推荐系统、情感分析等起着至关重要的作用。其中,中文命名实体识别由于语言的特殊性和复杂性,在命名实体识别研究工作中备受关注。高性能模型需要大量的标注训练集用于模型训练泛化,而高质量中文标注数据由于其高成本已经成为影响人工智能算法性能的最大瓶颈之一。因此面向少量标注数据的中文命名实体识别的研究工作具有重要的现实意义和应用价值。本文以少量标注数据应用场景下的中文命名实体识别为研究对象,从减少所需标注数据量和减少单位样本标注成本两方面出发,利用主动学习、迁移学习以及规则与统计混合的方法,致力于在使模型达到一定精度的条件下减少所需的标注成本。本文研究工作包括:(1)为避免基于不确定性的样本选择策略的局限性,制定一种基于不确定性和代表性的主动学习样本选择策略并应用于中文命名实体识别任务。在通用和领域语料上充分对比几种不同样本选择策略在提升模型泛化能力方面的作用。(2)提出一种结合预训练和主动学习的中文命名实体识别方法。以BERT(Bidirectional Encoder Representations from Transformers,基于双向 Transformer的编码表示)预训练语言模型为基础,本文提出BERT-CRF模型,结合CRF(Conditional Random Field,条件随机场)的强特征融合能力和标签约束性进行中文命名实体识别,并基于主动学习进一步减少所需标注数据量。通过对比实验证明该方法在减少标注数据量方面的有效性。(3)提出一种面向无标注数据的中文命名实体识别框架,充分利用已有的公开通用数据集与模型,结合基于规则和词表的方法进行中文命名实体识别,并对实体识别结果进行合并。利用该框架能够自动生成预测标签,辅助人机交互标注过程。通过实验证明该方法在减少同样数量标注工作所需投入成本方面的实用性。