论文部分内容阅读
机器阅读理解(MRC)是指让计算机像人类一样阅读文本,提炼文本信息并回答相关问题。传统的基于深度学习的方法利用双向循环神经网络或者卷积神经网络来对文本进行编码,但这种方法无法有效地捕获文本中的长距离依赖。最新发布的神经网络模型RoBERTa能够更好地捕获文本中的长距离依赖特征,并在几种不同的自然语言处理任务中都取得了好成绩。然而,RoBERTa模型针对英文语言而设计,无法有效地处理中文文本。针对中文语言的特点,提出一种新的阅读理解模型Pre-RoBERTa-MTL。该模型首先利用RoBERTa对问题