【摘 要】
：
近年来,预训练模型已经成为问答系统的基石。长文本的处理是基于预训练模型的问答方法中的一个难点。目前已经存在多种能够处理长文本的方法,然而还缺乏关于这些方法性能的系统性对比分析实验。另外,这些方法在预测答案时,缺乏问题相关上下文的定位能力和无答案问题的验证机制。针对这些问题,本文首先对经典的预训练模型问答方法进行了系统性的对比分析研究,并提出了两种基于检索-阅读架构的长文本问答方法。主要研究工作如下
论文部分内容阅读
近年来,预训练模型已经成为问答系统的基石。长文本的处理是基于预训练模型的问答方法中的一个难点。目前已经存在多种能够处理长文本的方法,然而还缺乏关于这些方法性能的系统性对比分析实验。另外,这些方法在预测答案时,缺乏问题相关上下文的定位能力和无答案问题的验证机制。针对这些问题,本文首先对经典的预训练模型问答方法进行了系统性的对比分析研究,并提出了两种基于检索-阅读架构的长文本问答方法。主要研究工作如下:（1）对比分析了两类经典的基于预训练模型的问答方法的性能。目前对于长文本问答方法的性能缺乏系统性对比分析研究,因此本文对两类长文本问答方法进行了对比分析实验。第一类采用BERT或其变体模型作为编码层,使用文本切分的方法处理长文本;第二类采用Longformer和BigBird模型作为其编码层,可以直接处理长文本。实验结果表明基于Longformer和BigBird模型的方法要优于其它方法。（2）提出了基于上下文预测机制的MemRecall-CP模型。已有的问答模型会在与问题无关的上下文中预测答案,不能有效定位与问题有关的上下文。本文通过在问答模型中引入上下文预测机制帮助预测与问题有关的上下文。MemRecall-CP模型分为两大模块,一是检索模块,采用RoBERTa分类模型检索可能存在答案的文本,二是阅读模块,采用引入了上下文预测机制的RoBERTa阅读模型抽取答案。实验结果表明该模型能够有效预测与问题有关的上下文,有效提高了问答模型的性能。（3）提出了基于答案验证和问题感知匹配机制的RoR-QAM-AV模型。已有的问答模型缺乏无答案问题的验证,并且不能获取问题和文本的浅层编码特征,本文通过在问答模型中引入答案验证和问题感知匹配机制来拒绝无答案问题,并获取问题和文本的浅层编码特征。RoR-QAM-AV模型分为两大模块,一是检索模块,采用BERT分类模型检索可能存在答案的文本,二是阅读模块,采用引入了答案验证和问题感知匹配机制的BERT阅读模型抽取答案。实验结果表明该模型能够有效获取问题和文本的浅层编码特征并拒绝无答案问题,一定程度上提升了问答模型的效果。综上,本文首先对经典的预训练模型方法进行了系统性的对比分析实验,为问答领域的研究者提供了重要的参考依据。然后提出了 MemRecall-CP模型和RoR-QAM-AV模型,可以在一定程度上解决目前问答模型中存在的缺乏答案验证和不能获取问题和文本的浅层编码特征的问题,进一步提高问答系统的性能。
其他文献
近年来,全球经济联系日益紧密,中国企业海外市场参与度不断提高,企业出海既是机遇又是挑战,一方面OFDI企业可以利用海外市场的要素优势为自身的发展服务,另一方面,企业花费大量成本进行OFDI,会面临很多风险与挑战,这就需要企业增强自身的实力,而提高自身技术创新能力就是其中一个重要的途径。于是,研究OFDI对企业技术创新的影响就具有重要意义。本文在对OFDI与企业创新相关的理论以及国内外研究现状进行回
数字经济时代，数字化、智能化技术的迭代升级，为企业提升物流管理水平带来了更多可能。山东恒通化工股份有限公司坚持“高端、绿色、低碳、高效”的原则，引入先进的数字技术，以企业现有采购、销售物流业务为模型，开发应用智慧物流平台，对销售、采购业务流程进行优化再造，形成完整的物流运输闭环管理，实现经济效益、管理效益全面提升。
目的 通过影像组学研究癫痫复发患者与正常对照组海马体积的差异及癫痫控制后海马体积的变化。方法 综合收集本院符合研究条件的49例难治性癫痫患者纳入患者组（RE组），并筛选49例在本院体检时的健康者纳入对照组（HC组），RE组接受合理药物治疗后，进一步随访评价。在RE组中纳入24例符合条件的难治性癫痫患者并随访，根据后续癫痫发作控制情况简单分为2组：癫痫患者无癫痫发作或癫痫发作改善（A组），以及癫痫发
2022年由国务院厅印发的土地新政中重要一条是对调整产业土地供给方式、探索城市用地制度变革作出决策。社会经济源源不断地发展需要土地资源作为强大的载体,产业的发展为促进社会经济发展提供源源不断的动力,其中在一定区域内企业发展的形式为产业集聚模式。产业集聚行为是企业发展所必需的劳动要素、资本要素、知识和技术要素在有限土地面积上的聚集,因此其发展会对土地利用强度、土地投入强度和土地产出效益以及土地的可持
本报告借助认知术语学及相关理论,以Repair and Maintenance of Post-Tensioned Concrete Bridges（2021）汉译实践为例,从范畴化入手探究文本中缩略语、单词型术语、词组型术语的翻译处理方式。Repair and Maintenance of Post-Tensioned Concrete Bridges（2021）是由美国学术出版社出版,美国国家
随着网购消费升级的日益加速,电商直播成为了当下最为有效的促销手段之一。直播带货能够为顾客提供真实、及时的产品信息,提升顾客消费体验而收获了大批受众群体,新冠肺炎疫情的影响也使得直播带货呈现出了爆发式的增长。然而,直播带货并不总是产生正面效应,直播间中时常出现顾客谩骂、骚扰主播等言语攻击性行为,这种无端的言语冒犯不仅会影响到主播业绩表现,更会影响普通观众对产品的态度。如何利用直播来管理与顾客关系,营
在产学研协同创新三螺旋模型的基础上，利用系统动力学（SD）模型构建云南省科技成果转化模型，并对系统进行仿真分析，得出结论。首先将系统划分为政府支持子系统、高校支持子系统和企业支持子系统，实现三螺旋模型的动态循环；然后结合三个子系统的划分情况构建云南科技成果转化模型的因果图；最后构建云南省科技成果转化系统动力学模型，通过建立云南省科技成果转化系统动态流图，剖析影响因素的相互作用，从各要素的协同机理和
习近平在党的十九大报告中明确提出实施乡村振兴战略,并将乡村振兴战略写入党章,在党的二十大报告中,又进一步对全面推进乡村振兴作了深刻论述和全面部署:“全面推进乡村振兴。全面建设社会主义现代化国家,最艰巨最繁重的任务仍然在农村。坚持农业农村优先发展,坚持城乡融合发展,加快建设农业强国。”乡村振兴及其战略的实施,具有极其重要的战略价值和时代意义。习近平关于乡村振兴的重要论述是当前和今后实施乡村振兴战略及
随着近年来成渝城市群引入外资额不断增加,外商投资已经成为推动成渝城市群经济增长的重要驱动力量,但与此同时,外商投资的引入给环境带来的负面影响也不容忽视。厘清外商直接投资与环境之间的关系,找到一个平衡点来实现经济发展与环境保护的“双赢”局面,引导外资向有利于环境的方向去发展是十分有必要的。本文广泛查阅有关外商直接投资对环境影响的相关文献资料的现状研究,在前辈们的研究基础上进行归纳总结,深入探讨了外商