选择式机器阅读理解的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:z987z654z123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着深度学习技术这几年的发展,自然语言处理领域也有突飞猛进的进步,其中的机器阅读理解作为新兴领域在这些年愈发成熟,并开始出现在生活的实际应用中,包括智能客服、大规模文本处理等。机器阅读理解指通过交互让计算机能够从书面文字中提取出关键信息、了解文章结构,并让计算机能够跟人一样对文章内容进行理解。目前主流的机器阅读理解通过让神经网络对阅读理解数据集进行学习,从而得到正确的答案。阅读理解可以分为填空式阅读理解、抽取式阅读理解和选择式阅读理解等,其中选择式阅读理解作为目前阅读理解中的主要攻克领域,其选项内容并不与原文完全对应,有很多推理类问题需要解答,所以难度也会相应增大。需要模型不单单对原文内容进行了解学习,更应该具有一定的逻辑推理性。本文从此出发,对主流的大规模选择式阅读理解数据集RACE进行分析实验,通过神经网络模型进行学习实现选择式机器阅读理解,并研究多种策略来协助提升测试准确率。针对目前选择式阅读理解中存在的问题,本文从以下两个方面进行研究。第一,从模型本身设计角度。本文基于pytorch深度学习框架,将目前主流的预训练模型Bert以及XLNet进行修改,以实现选择式阅读理解任务。第二,从策略研究角度。针对RACE数据集的特点和挖掘人类阅读理解的行为表现,本文分别在引入外部知识方面进行了外部知识库的策略研究与实现,在模型结构进行改进方面进行了关键词的高亮嵌入的策略研究与实现以及在RACE数据样本学习改进方面进行了困难样本再学习的策略研究与实现。将三种模型改进策略应用到Bert以及XLNet模型中,对提升测试集准确率均有不同程度的提升。通过在RACE数据测试集进行测试,评测指标采用通俗的准确率来评测。将三种模型改进策略分别应用于Bert以及XLNet模型,测试准确率均有一定的提升,验证了三种模型改进策略的有效性。对三种模型改进策略进行混合测试,验证三种模型改进策略不会因为混合使用产生负面影响,任意混合均会对测试准确率有提升。实验结果显示,将三种模型改进策略一起进行混合实验,基于Bert以及XLNet基础模型准确率依次提升了 3.3和3.4个百分点,验证了本文提出的策略的有效性,并可以将这些策略应用到阅读理解相应应用中。
其他文献
准确地定位配电网的故障区段对于用户供电可靠性有十分重大的意义.目前所提出的配电网故障定位算法有一定的局限性,当信号发生畸变时,很容易出现误判,导致无法快速准确定位到故障区段.针对现有算法的局限性,考虑增加信息多源性,在遗传算法的基础上引入低压侧用户信息,构建了一个高鲁棒性的故障定位模型.通过算例仿真分析,最终证明了该算法相比于不考虑低压侧用户停电信息的算法具有更高的准确性,更加适用于实际工程.
飞行器通风冷却系统的进排气口加设格栅有助于提高整个系统的气动特性和电磁屏蔽特性.以X-47B飞行器为研究对象,设计了内埋于机身的通风冷却系统四边形开口进气道和排气道及其格栅,基于CFD方法深入分析了进/排气口格栅的4个设计参数:导流角、格栅厚度、孔径形状和孔径大小,对管道系统流阻特性的影响.结果表明,进排气道的格栅导流角越小,越接近常规进排气道,表现出更好的流阻特性;而对于进气道,格栅厚度越大,整流效果越佳,而排气道的出口需要适宜厚度的格栅兼顾整流和排气阻力;圆形孔格栅在进排气道口都表现出了较好的作用效果
针对旋翼干扰下的共轴刚性旋翼振动载荷问题开展计算分析.结合中等变形梁理论的结构动力学模型和含非定常自由尾迹的双旋翼气动模型,建立共轴刚性旋翼振动载荷计算模型.以XH-59A旋翼为研究对象,在模型验证的基础上详细分析旋翼俯仰角α、间距D以及交叉角Ψ对共轴刚性旋翼振动载荷特性影响.研究表明:增加旋翼俯仰角α会降低桨毂垂向力Fz和俯仰力矩My的3Ω谐波幅值,但会大幅增加滚转力矩Mx的3Ω谐波幅值,在高速前飞时利用俯仰角参数能调节桨毂谐波幅值水平;旋翼间距D越小,桨毂谐波幅值越高;交叉角Ψ对桨毂滚转力矩Mx和俯仰
针对高超声速飞行器仪器舱设备安装板结构轻量化和提高静/动力学性能的设计需求,融合轻质点阵结构与传统加筋结构的优点,提出一种点阵-加筋板式结构方案并建立了拓扑优化设计方法.利用均匀化等效方法计算点阵结构的宏观等效力学性能,将其作为一种虚拟材料,建立实体材料-虚拟材料插值模型.以结构整体质量为约束,整体柔顺度最小为目标建立拓扑优化问题,实现点阵-加筋板式结构布局优化设计.以飞行器设备安装板为例,分别完成了传统加筋结构和点阵-加筋板式结构优化设计.力学性能分析表明,在相同质量条件下,点阵-加筋板式结构方案具有更
近年来,随着互联网技术的飞速发展,IPTV受到了越来越多的家庭用户的青睐,使得IPTV的业务迅速扩张,用户的规模也持续增长。在如此迅速的发展速度之下,IPTV的业务目前不能只着重于信息传输速度的提升,应该更加注重用户在享受IPTV业务时的使用体验。为了提高用户的使用体验,并且为服务商提供的视频推荐、广告推送等服务提出决策性建议,能够准确地分析用户收视行为就显得尤为重要。然而,收视数据由于规模庞大,
为了提升国产民机国内外市场的综合后勤保障能力,降低航材配置数量与航材运营保障成本,提出了基于航材共享模式,考虑各航站航材库存量与响应时间的航站组航材配置方法.采用泊松过程描述航材在研究时间内不同需求量的概率;依据航站间的运输时间关系构建航材共享组;采用边际分析法对共享组内所有航站中,航材期望短期量最大的航站进行航材配置,直至满足机队可用度需求,实现航材共享下的航材配置技术.研究表明:在规定机队可用度下,采用航材共享条件下航材配置技术可以减少各航站的航材数量;在相同配置数量条件下能提高机队可用度;共享条件下
波面环境是真实条件下物体入水所遇到的普遍情形,其改变了入水点自由界面的形貌,对入水过程中流动及入水后物体运动参数演变的影响尚不明确.在试验水池中采用摇板式造波机生成波面环境,以搭载内测系统的截锥头回转体外形为试验模型,利用压缩空气炮提供发射动力,发控系统统一控制造波机与发射炮的启动时序,二者协同以控制模型入水点与波面的相对位置,开展了平静水面、遭遇波面不同位置和不同波高的波浪情形下的入水试验,获得了模型入水过程加速度和姿态角度等定量的弹道参数,拍摄了入水过程的流场演变历程.试验结果表明:高速条件下,波面对
头部形状对航行体的入水弹道和空泡形态有着显著的影响,为研究非对称头型在入水过程中空泡和弹道的演变特性,基于高速摄影技术,对带有35°,40°,45°不同切角头型的航行体开展了不同入水角条件下的低速入水对比实验.通过数字图像处理技术提取不同时刻下航行体的入水空泡轮廓以及运动姿态信息,得到了非对称头型航行体切角大小和入水角度对入水空泡和弹道轨迹的影响规律.实验结果表明:非对称头型切角侧能有效促进空泡的扩张从而形成不对称入水空泡;空泡扩张规模与空泡初始水平扩张速度和头型截切的切面区域面积正相关;非对称头型航行体
为了有效实现航空发动机低压压气机叶盘径向变形的动态时变可靠性分析,基于Kriging模型,结合粒子群算法(particle swarm optimization,PSO)与极值思想,提出了粒子群极值Kriging模型(particle swarm optimization extremum Kriging model,PSOEKM)方法.阐述了PSOEKM方法的分析原理;论述了PSOEKM方法的建模思想;探究了基于PSOEKM方法的时变可靠性分析实现途径;以航空发动机低压压气机叶盘为案例,运用PSOEKM
在本文中,我们首先综述了近年来关于外区域上不可压Navier-Stokes(N-S)方程整体解的存在唯一性、空间渐近性、强解或者弱解关于时间的衰减估计等诸多研究成果。很多数学家致力于研究常密度流体,得到了大量的著名结果。Leray[46]指出了在全空间上对于常密度不可压N-S方程具有有限能量的全局弱解的存在性。Leray解(uL,pL)在无穷远处的渐近行为问题在20世纪70年代被Gilbarg和W