语义文本相似度计算作为信息检索、文本聚类、语义消歧、自动问答等研究工作的基础共性问题,其研究的主要内容是衡量文本之间的相似程度。医疗信息化发展至今已经积累了大量的电子病历文本数据,将语义文本相似度研究的方法应用在这些文本数据中将有助于推动医疗信息化的发展。使用传统方法研究医疗领域的语义文本相似度任务主要获取的是文本的浅层次信息,而基于深度学习的方法虽然可以获取深层次的文本语义信息,但是这类方法对有标注数据有很强的依赖性。本文研究的重点内容是克服语言模型在小样本的电子病历文本相似度任务上对有标注数据的依赖问题,实现模型在小样本数据上不仅可以得到好的分数还可以得到高质量的句子表示。针对医疗数据专业性强,数据集保守,数据量少等带来的限制,本文提出了两种解决方法分别应用于不同的数据场景下。（1）提出一种适用于无监督学习的多级双向交叉蒸馏编码器（Multistage Bidirectional Cross Distillation Encoder,MBCDE）模型。MBCDE模型使用改进后的自监督学习方法在医疗领域的语料库上对预训练语言模型进行无监督的训练,可以得到医学领域更高质量的句子表示。利用双向编码器和交叉编码器在语义文本相似度任务上的不同表现结合模型蒸馏的方法,提出双向交叉蒸馏编码器方法。MBCDE模型将不同类型编码器的预测结果融合得到最终的预测结果,该结果鲁棒性强、质量高。（2）提出一种适用于半监督学习的双向交叉动态轮询学习编码器（Bidirectional Cross-Dynamic Round Robin Learning Encoder,BCDRRLE）模型。BCDRRLE使用本文提出的动态轮询学习机制更新无标注数据集上的标签,将无标记数据应用到模型的训练过程中,且模型的学习同样会对无标记的数据产生影响。利用这种轮询学习的机制,不仅扩充了任务数据集的数据量,而且也使得模型的结果更加的优秀。实验结果表明,在三份电子病历语义文本相似度任务数据集上MBCDE模型使用无监督的方法取得了超过有监督方法的成绩,BCDRRLE模型则使用半监督的方法取得了明显优于其他模型的结果。本文提出的研究方法为小样本电子病历语义文本相似度问题提供了解决方案,同时也为其他保守领域解决依赖标注数据问题提供了参考。