问答任务一直是自然语言处理领域中的研究热点。该任务基于用户问题,从特定数据中抽取到相关信息,进而得到正确的返回结果。目前,与问答任务相关的技术在工业生产中有着丰富的落地场景,能够帮助人们更加高效的获取信息与知识。现在,开放式领域的问答系统日益完善,极大的满足了业界的需求。然而,在面对小数据量垂直领域的问答场景,目前大部分的问答相关技术却难以应付。垂直领域特征词的稀疏问题会导致数据集方差大的问题。数据量小会导致大部分问答的相关算法分别存在过拟合以及欠拟合的情况。目前主流基于统计的方法以及传统神经网络方法在该场景下效果往往不尽人意。基于以上问题,本文提出了多种相应的解决方案。本文的创新点以及相应的贡献如下:(1)提出了基于大规模开放式问答语料和预训练语言模型的领域迁移方法。本文利用大量开放性问答数据在预训练语言模型上进行增量训练,解决语言模型在预训练阶段存在的训练数据语义分布偏差问题。借助丰富的开放性问答语料,让模型在预训练阶段学习到更多不同领域之间的特征词语义信息,进而缓解垂直领域数据存在的数据偏差问题,提高问答任务的精度。(2)提出了基于大规模开放式问答语料的预训练方式QA-Predict。该方法在提高大规模开放式问答语料有效利用率的同时,在预训练阶段便能提高模型的推理能力,从而达到提高小数据垂直领域的问答精度的效果。(3)提出一种引入特征领域词的Bert模型结构。该方法基于特定领域的大数据提取相应的特征领域词,并在Bert模型中通过Attention中的Mask机制引入。进而解决垂直领域特征词离散的问题,提高问答的效果。(4)提出了基于预训练语言模型的知识蒸馏策略。将使用QA-Predict方法进行增量训练的模型作为教师模型,进而在微调阶段(Finetune)通过软标签(soft label)特征训练得到学生模型TQA-Bert。极大的减少预训练语言模型的参数规模,进而提高模型的预测速度并减轻模型的部署要求。