医疗搜索作为广大群众搜索场景下的刚需,是普通用户获取优秀医疗资源最为便捷的渠道。医药领域数据的爆发式增长给研究人员提供了丰富的知识,是重要的研究资源。医疗搜索的重点就是从海量庞杂的医药领域数据中快速高效地获取信息,而命名实体关系抽取就是文本数据处理工作中一项基础且重要的环节。在医药领域内,准确识别说明书中的禁忌症和适应症实体对于构建合理用药规则,构建完善的医药领域知识库有重要意义。但是,由于医药领域内实体的特殊性和复杂性,实体词大多较长且结构复杂,部分实体间存在嵌套关系,给领域内的实体关系抽取带来了很多挑战。本文以医药领域的实体关系抽取为研究重点,通过搭建领域预训练模型来充分学习医药领域数据的文本信息,针对禁忌症实体和适应症实体的抽取,分别建立了多头选择的联合模型和基于两层网络的层叠模型,主要工作包括以下三部分:第一,虽然BERT预训练模型吸收了语言学中的通用知识,在很多的自然语言处理任务上都有很好的表现。但考虑到普通语料库和医药语料库的语句信息有很大区别,为了充分利用医药领域文本数据中的专业信息,在下游的领域任务中发挥更大的作用,本文提出了针对医药领域的预训练语言表达模型Med-BERT。首先收集了近20亿条的医药领域文本,以BERT预训练模型的参数作为模型的初始化参数,在改进后的预训练模型中加入特征处理后的领域无监督语料继续训练。并且,考虑到BERT模型参数量较大,下游任务的训练时间较长,为了加速下游模型的训练,本文还在阿里巴巴达摩院提出的StructBERT的4层蒸馏模型上进行领域训练并得到Med-StructBERT。第二,对于禁忌症实体关系抽取任务,本文提出了多头选择模型,实现实体识别和关系分类的联合任务。模型分别以BERT等6个预训练模型作为词嵌入层,后接条件随机场用于识别命名实体的边界,并通过多头选择预测每个词向量的头向量和对应的关系。在本文的禁忌症抽取数据集上,多头选择模型相比基准模型可将F1分数提升超过3%,通过调整词嵌入层和文本特征处理能进一步将F1分数提升超10%。并且,基于4层Med-StructBERT的多头选择模型不仅在各指标上均优于12层通用的StructBERT模型,还将模型的训练时长缩短20倍以上。因此,对于实体关系联合抽取任务,当不考虑训练时长和计算资源时可优先考虑Med-BERT模型作为编码层,而当计算资源有限或对时间要求较高时,可以考虑使用4层的Med-StructBERT模型。第三,对于适应症实体关系抽取任务,由于存在较多的嵌套实体,传统简单的序列标注方法只能识别最外层的实体,无法顾及内部结果。为了充分识别实体的内部结构,提高复杂适应症实体识别的精度,本文设计了层叠模型,其中低层模型用于初步识别粗粒度的实体,并且为了更好地学习实体的边界,还修改了损失函数的计算方法,高层的模型则用于对复杂的适应症实体进行调整,识别实体的内部信息,通过排列组合输出最终的识别结果。在适应症文本上的实验表明,基于不同的预训练模型做编码层,模型识别的F1指标都超过了 80%,其中4层的Med-StructBERT因为引入了大量的医药领域数据能更好地学习医药文本信息,模型的预测精度甚至超过了所有的12层模型,考虑到Med-BERT的训练数据较少,模型训练不充分,这也表明对于复杂的实体,使用业务相关的语料继续训练对于模型的提升是非常有效的。因此,对于数据杂乱,嵌套命名实体较多的文本,更应该优先使用本文提出的基于4层Med-StructBERT的层叠模型。