机器阅读理解是人工智能和自然语言处理领域的一个重要研究课题,是自动问答模型的关键支撑技术,有着重要的研究意义和广泛的应用价值。随着互联网的发展和技术的进步,研究者提出了各种阅读理解模型,在部分数据集上可以达到超越人类的效果。然而,机器阅读领域仍然有大量未解决的问题需要继续探索,研究机器阅读理解模型的进一步优化对学术界和工业界都有重要意义。得益于技术的发展和运算速度的提升,大规模预训练语言模型被提出并在许多自然语言理解任务上都有亮眼表现。然而,这些模型在抽取式阅读理解任务中的应用方法仍然较为简单,在模型结构和数据构成上都有可以优化之处。本文主要从一种预训练语言模型—ALBERT入手,从模型和数据两方面分别基于双向注意力和标签软化对该模型进行优化,使其在抽取式阅读理解任务中能有更好的表现。首先,本文对ALBERT在抽取式阅读理解任务中的应用效果进行了验证。分析了ALBERT的模型特点和主要优势,并在SQu AD 2.0、News QA、QUOREF三个数据集上进行了实验验证。实验结果表明该模型在三个基准数据集上都有较好的表现,在SQu AD和News QA上可以超越人类,在News QA和QUOREF上达成state-of-the-art。随后,本文从模型角度基于双向注意力机制对ALBERT进行了优化,提出ALBERT-CA模型。针对ALBERT缺乏对参考文本与问题之间关系的显式建模的问题,引入了基于双向注意力的交互层;针对解码过程中两个边界相互独立的问题,建立了答案边界之间的神经网络连接。实验结果证明ALBERT-CA在处理抽取式阅读理解任务时相比于ALBERT有明显优势。额外的消融实验则证明了在模型上主要的两点优化都是有效的,以及双向注意力计算时有必要加入原始信息。最后,本文从数据角度进行优化,提出了基于软标签的数据增广,可以利用抽取式阅读理解的多解性提升模型性能。尝试了标签平滑、分布预测两种软标签构造方式,为上下文其他词语也赋予一定的概率。使用增强后的数据集训练ALBERTCA模型,两种方案得到的结果都有一定的提升。标签平滑得到的软标签不能突出其他正确答案,但依然有效,我们认为这可以说明多解性在阅读理解任务中十分普遍。更加精确的分布预测可以进一步增强模型性能。应用本文中提到的种种优化之后,在模型性能上的提升十分明显,可以为后续研究提供参考。同时,这些优化思路都不仅限于ALBERT模型,在其他模型上也可以应用,有一定的推广价值和学术意义。