基于预训练语言模型的连续问题机器阅读理解方法研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:zn19861225
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器阅读理解任务旨在让机器理解自然语言文档并回答相关问题,近年来,由提问者每次仅提出一个问题的单问题阅读理解任务(Sq-MRC)发展迅速。但在现实中,我们经常遇到这样的情况,提问者提出一系列不间断的问题来增加对事物的了解,对应任务称为连续问题阅读理解任务(Cq-MRC)。由于连续问题中后续问题存在表达不完整的现象,如回指或主语省略,以及缺乏用于模型训练和性能评估的大规模标注样本,因此极具挑战。本文聚焦于探索连续问题机器阅读理解任务,主要研究内容和贡献如下:(1)连续问题定义与Cq-MRC任务形式化,面向Cq-MRC任务数据集的构建与划分。由于Cq-MRC任务的相关研究较为薄弱,目前还没有关于该任务的形式化定义,且缺乏公开发表的大规模数据集。为了后续开展研究,本文以新闻数据为例,对连续问题和Cq-MRC任务进行数学形式化定义,同时在已有的Les MRC 2.0数据集基础上通过改造构建和划分了适合Cq-MRC任务的训练和测试数据。(2)基于后续问题复原的连续问题阅读理解方法的提出。针对Cq-MRC任务中存在的后续问题表述不全、缺乏标记样本的问题,本文探索了Cq-MRC任务,提出了基于后续问题复原的方法,该方法通过构造一个基于深度神经网络的关键实体识别模型和一个复原后续问题的启发式方法,将后续问题缺失信息补充完整,从而将Cq-MRC任务转换为一组可以用基于预训练语言模型BERT完成的单问题阅读理解任务。同时利用少样本学习方法解决标注数据集不足无法训练一个较好的神经网络模型的问题。实验表明,基于后续问题复原的连续问题阅读理解方法可以有效地提升答案精度。(3)基于硬参数共享多任务学习的连续问题阅读理解方法的提出。针对基于后续问题复原的Cq-MRC方法存在的耗费训练时间和测试时间、缺乏中间过程学习记忆等不足之处,本文利用硬参数共享多任务学习方法,将关键实体预测和答案预测定义为两个子任务,并对它们进行联合学习,两个子任务间共享向量表示与特征编码器,使得模型优化过程中底层的共享参数特征帮助子任务之间互相学习,共同提升泛化效果。此外,设计了联合损失函数共同训练两个子任务,并设置动态权重分配与静态权重调整两种损失权重调节机制。该方法提高了Cq-MRC任务的性能表现,提升了模型训练和测试效率。
其他文献
随着人们生活质量的提高以及科技的快速发展,汽车数量在增长的同时也带来了许多交通问题。车载自组织网络作为智能交通的重要组成部分,能够有效地减少事故发生以及交通拥堵等问题。而一个高效且可靠的路由协议对于提高车载自组织网络性能发挥着重要作用。然而,由于复杂的路况、车辆的高速移动带来的通信链路连接不稳定以及网络拓扑结构的不断变化,如何在城市环境中设计一种高效可靠的路由协议来将数据包传输到目的地仍然是一个具
学位
随着部队信息化建设不断深入,建设一支打赢信息化条件下的局部战争的部队成为我军的建设目标。相比起机械化条件的战争,信息化条件下,信息成为制胜的关键。随着大量信息化兵器投入战场,传统的以微波通信为骨干网,借鉴蜂窝网络而构建的战术互联网已经逐渐不能满足作战的需求,因此,需要能满足更高要求的战场接入网络。本文考虑基于以云无线接入网为基础的三种接入网架构构建野战综合军事网络。并讨论了以资源块为规划基础的情况
学位
目标检测和跟踪方法是计算机视觉领域的核心问题,也是运动分析、场景理解、行为识别等关键支撑技术,有着广泛的理论研究意义和实践应用价值。课题针对光学视频数据(图像序列数据)空中时敏目标(如:飞机、无人机或其他小型飞行器)的精确检测与跟踪需求,研究结合聚类方法的稳健检测与跟踪方法。以地对空观测成像的典型应用场景为分析依据,凝练了红外成像的无人机目标检测跟踪任务中的典型难点问题,借鉴极限学习机和非监督聚类
学位
期刊
随着恶意代码造成的危害日益严重、威胁的领域愈加广泛,恶意代码的检测和分类问题显得更为急迫重要。其中,恶意代码的家族分类对于快速了解恶意代码感染策略、威胁级别,并对其及时开展防范具有重要意义。基于静态特征的恶意代码家族分类具有特征提取时间短、资源消耗少、可扩展性强等特点,在处理分析当前数量呈指数级增长的大规模恶意代码时具有较大优势,一直是当前恶意代码分析的研究热点之一。本文结合深度学习方法,对恶意代
学位
乳腺癌作为在女性中发病率最高的一种癌症,严重影响着女性的健康。但是,如果能使用医学手段及早发现,治愈率还是很高的。所以早期的筛查和治疗是提高乳腺癌患者生存率的重要手段。乳腺X光造影技术的价格相对来说比较便宜,对于病人的身体损伤小,并且医生操作方便,非常适合于乳腺癌的早期检查。因此,以乳腺X光图像作为数据集的医学图像成为临床研究和学术研究的重要图像数据。卷积神经网络在图像分类领域的处理手段得到的效果
学位
<正>总部位于奥地利蒂罗尔州的Egger集团,在美国北卡罗来纳州列克星敦市建了一个新厂,该厂是其第20家工厂,于2020年9月开始投产。早在2017年,Egger集团就宣布要在列克星敦市新建一条刨花板生产线和两条短周期贴面生产线。Egger集团工厂经理Ritterbach说:"该生产线的投资为公司的发展提供了机会,扩大了市场占比,可缩短交货期,旨在为市场提供新的创意、产品和服务。"
期刊
随着科学技术和人工智能的迅速发展,智能移动设备的数量急速增加,它们生成的数据呈指数式暴涨,且需要及时处理并分析以提取其最大价值。然而,由于移动设备的处理能力、存储容量等限制,它对应用程序的计算需求反应缓慢,远远满足不了那些新兴移动应用的发展需求,并不能给用户很好的使用体验。且远程云数据中心与移动设备之间的传输距离过长,这将带来过大的传输时延,加重网络负载。移动边缘计算(Mobile Edge Co
学位
无线中继具有接收信噪比高、覆盖范围广、吞吐量高和传输功耗低等优势,被广泛应用于各种无线通信网络。然而,无线基础设施和用户终端的快速增长引起了能源消耗的激增,进一步为网络运营商带来巨额的电费和维护费用,也带来许多环境问题。为了缓解这些问题,绿色无线通信引起了学术界和工业界的重视。此外,当无线通信网络频谱效率提高时,需要传输更多的数据进而消耗更多的能量引起能量效率的降低,因此能量效率和频谱效率之间的权
学位
视觉导航技术一直以来都是无人驾驶技术研究领域的核心问题之一。现有的端到端的或是基于强化学习的无人驾驶控制技术存在可解释性不强、鲁棒性差的缺点。本文通过引入预瞄点作为中间变量,建立了一套基于图像预瞄点估计的视觉导航渐进优化算法,并提出了一套包含数据采集方法、模型循环更新方法等算法的完整算法框架。同时基于此框架对算法性能、样本采集效率等进行了优化探索。本文主要研究内容和成果包括:1.针对传统端到端的视
学位