近年来,由于医疗信息化的高速发展,生物医学文本数据的规模呈爆炸式增长,生物医学文本挖掘变得尤为重要,它能从海量生物医学文本数据中挖掘出有用的信息,为医学研究、临床决策等方面提供有力的支持。随着预训练语言模型BERT的成功,表明了预训练模型在自然语言处理领域的重要性。在生物医学领域中,Bio BERT、Sci BERT等基于BER T的衍生模型通过在大型生物医学语料库上进行预训练以获取生物医学知识,并在多项生物医学文本挖掘任务中取得良好效果。然而,研究发现,大多数生物医学预训练语言模型依赖于传统的遮蔽语言模型（Mask ed Language Model,MLM）任务。当随机掩盖策略未能掩盖医学相关术语时,模型则无法充分捕获医学上下文语义关系。此外,由于中文生物医学语料资源的缺乏以及中文医学术语的复杂性和多样性,使得模型学习中文生物医学知识存在困难。针对以上问题,本文研究的主要内容如下:1.本文提出了一个基于知识注入的中文生物医学预训练语言模型CMed BERT。该模型采用医学百科中的文章结构作为弱监督信号,将百科结构中所包含的医学术语及其方面作为标签,训练模型从医学描述文本中推断出相应的医学术语和方面,从而捕获生物医学上下文语义信息。该方法不仅避免了因传统MLM随机掩盖策略而无法充分捕捉医学上下文语义关系,同时还减少了人工标注所耗费的时间和标注成本。2.为了进一步提高模型的性能,本文在下游任务的微调阶段引入对抗训练。通过在词嵌入层添加对抗扰动的方式,对模型进行正则化,并对FGM、PGD、SMART、ALUM和Free LB五种对抗训练方法进行实验比较。3.为了评估模型在生物医学文本挖掘任务上的性能,本文在CBLUE评测标准1.0所提供的八个中文医疗信息处理任务上进行实验。其中,相比于四个基线模型,基于FGM对抗训练方法的CMed BERT-adv模型,平均得分提高了1.8%。