科技论文摘要是科技论文重点内容的概括性陈述,承载着丰富的科学知识内容,具有学术化语言表达的特点。当前很多科研情报的研究都是基于科技论文的摘要文本进行挖掘分析。如何提升科技论文摘要文本的挖掘能力是情报学研究中的一个重要问题。预训练语言模型作为自然语言处理研究中的关键组件,能够大幅提升文本挖掘的基础能力。本文尝试构建一种嵌入外部知识内容的科技论文摘要的预训练模型,有效支撑科技论文摘要文本的挖掘应用。本文在对预训练模型构建等相关研究进行分析的基础上,针对科技论文摘要文本挖掘主要涉及的分类问题（重要句子识别、主题分类等）和序列标注问题（实体识别、关键词识别等）的实际需要,以及科技文献情报机构拥有大量知识资源（如术语表、主题词表）等现实情况,提出了一条在BERT模型基础上采用“继续预训练”方式引入大量科技论文摘要文本对模型完成进一步预训练的方案,并重点进行了两方面的工作:（1）改进预训练目标,以实现对论文摘要知识特征的充分学习;（2）实现预训练模型结构的增广,以有效嵌入语法语义知识内容。在这一方案之下,笔者重点研究了三个关键问题:（1）继续预训练过程中的摘要知识特征学习问题;（2）面向模型结构增广需要的外部知识的嵌入表示问题;（3）模型结构增广中的知识向量的嵌入计算问题。在三个关键问题的解决中,重点开展了三个方面的创新尝试:（1）提出了领域术语词掩盖预测和语步句子预测两个新的预训练目标以实现对论文摘要知识特征的充分学习。（2）提出了联合表征与编码的知识嵌入表示方法分别实现标签类外部知识向量的表征表示和三元组类外部知识向量的编码表示。（3）设计了融合知识向量嵌入计算的模型结构实现对标签类知识向量和三元组类知识向量的嵌入计算。论文以中文医学领域的科技论文摘要为基础语料数据,开展了预训练模型构建实验,并以微调方式在中文医学领域的多个分类任务和序列标注任务数据集上对本文构建的预训练模型的有效性进行验证。实验结果表明,本研究所构建的科技论文摘要预训练模型在语步识别、文献分类、关键词识别和实体识别四个中文医学领域的科技论文摘要挖掘任务数据上相对基线BERT-base模型分别取得了1.4、2.75、4.96和5.1个百分点的效果提升,同时也优于Mac BERT、Med BERT、MC-BERT等几个已有研究中的面向中文及医学文本构建的预训练模型。上述研究表明,本文所构建的面向中文医学领域的科技论文摘要预训练语言模型能够有效提升科技论文摘要文本挖掘中分类问题及序列标注问题的挖掘效果,对后续科技论文摘要文本的分析挖掘相关研究具有应用价值。