基于机器阅读理解的会话应用技术研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:Stanleytsang627
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
会话式交互,特别是多轮次会话交互,已经成为当前人机交互领域的热点。为了进一步提升其产品的用户体验,全球各大公司纷纷推出了各自的会话应用。机器阅读理解是实现会话应用的核心技术,随着深度学习技术的发展,运用深度学习技术来提高多轮机器阅读理解模型的性能是当前会话应用研究的热点之一。同时,深度学习技术的应用对计算性能和数据存储空间的要求也越来越大,相应的深度学习模型的压缩也是需要解决的问题。针对上述问题,本文研究了提升多轮机器阅读理解(MRC Machine Reading Comprehension)模型性能和提升模型推理速度的方法。将基于Bert的机器阅读理解模型作为基准模型,基准模型是以预训练语言模型Bert作为主要模型结构,在多轮机器阅读理解数据集CoQA上进行Fine-turning,使用精确匹配准确率(EM)和模糊匹配准确率(F1)指标评价模型。为提升基准模型在数据集上的性能,提出了机器阅读理解多领域多任务学习方法(MDMTL,Multi-Domain Multi-Task Learning),通过在微调阶段引入多领域数据来进行领域数据增强,通过使用多任务学习方法,引入额外的事实依据,利用隐含在相关任务中的信息提高模型的泛化能力和学习能力;此外,对于多轮机器阅读理解来讲,其研究难点在于如何建立历史会话间的联系,为了进一步提升模型多轮机器阅读理解能力,更好的建立历史会话间的联系,本文在基准模型的基础上,针对微调阶段提出了新的上下文建模方法,将当前问题与历史问题建立联系,去除冗余信息,将更有用的信息用于模型的预测,从而进一步提高了模型的EM和F1;最后,由于上述方法引入额外参数导致模型参数量较大,为了降低模型的参数量,本文还提出了基于知识蒸馏的模型压缩方法,以优化模型大小和提升推理速度。本文设计和实现了基于机器阅读理解的会话应用,通过综合运用前述关键技术,实现了对多轮机器阅读理解任务的支持。通过对该应用的测试证明了各种关键技术和应用的有效性。
其他文献
国家级高新技术产业开发区是区域内最具创新能力企业的聚集地,是区域经济发展的“技术极”。我国高新区的发展已经走过二次创业正式步入三次创业阶段,表明高新区承担着率先实施创新驱动发展战略的重要历史使命。尽管既有研究已注意到国家高新区作为区域经济增长极和创新策源地的功能,但对创新与高新区的经济产出之间的作用机理研究较少,也极少从创新的角度探讨高新区对区域经济的影响。为了解析高新区促进区域经济增长的现实路径
伴随着时代的发展和科技的进步,汽车使用者对汽车的要求已不仅仅局限于快捷方便,对汽车的操纵稳定性和行驶平顺性也提出了相应的要求。本文依托国家自然科学基金青年基金项目“道路感知下汽车主动悬架阻尼控制自适应切换研究”(51605213),针对半主动悬架中电磁阀控制的可调阻尼减振器进行了阀系的多参数协同优化,具体研究内容如下。首先,对可调阻尼减振器实物进行拆解,通过拆解可知可调阻尼减振器在传统双筒液压减振
随着数据挖掘技术的发展,聚类开始被用于处理现实生活中结构复杂且数据类型多样的数据集。作为一种无监督的机器学习方法,聚类不需要对数据集进行预先的训练和手工标注,因此具备较高的自动化处理能力,已经被广泛应用于互联网信息检索等领域。其中由于文本是当下所有信息的基础格式,所以文本聚类又是当下众多聚类应用场景中最为值得关注和研究的。聚类算法中的经典算法K-means,具有原理简单、易于描述等优点,因此被广泛
安全公民行为是对安全参与行为的拓展和延伸,强调员工积极主动地承担自己职责以外的安全活动,发挥自身的主动性,积极主动地参与企业安全管理。传统的安全管理强调安全遵守,即
树脂锚固剂(锚固剂)是由不饱和聚酯树脂、填料、促进剂、固化剂配制而成的粘稠状化学锚固粘接制品,广泛应用于矿山支护、隧道工程等领域,具有承载快、适用性强、锚固强度增长快等特点。锚固剂中,填料成分占比大,它的理化性质对锚固剂的热稳定性和强度影响较大,是影响锚固剂质量及性能的重要因素之一。本文针对树脂锚固剂的生产及实践应用中出现的问题,选择树脂锚固剂的填料进行了研究。1.研究了锚固剂中石粉填料的主要化学
华蓥市作为矿产资源型城市,矿产储量丰富,开采历史久远,市内有5个主要的大型矿区,高顶山矿区作为其中之一,有近60年的开采历史。大规模开采导致地质环境遭到巨大的破坏,森林湿地面积大幅减小,地质灾害发育,水土污染,石漠化及水土流失等大量地质环境问题。为完成国家提出的山水林田湖草生态保护和修复工作,要对高顶山矿区的地质环境进行矿山地质环境评价,其评价结果为后续的矿区恢复治理研究提供依据。本文在对高顶山矿
随着计算机图形、电子信息、立体仿真等技术的不断革新与发展,原本只存在于幻想作品中神秘的沉浸式虚拟现实技术,正一步步走进人们的生活。与传统的单一艺术形式相比,虚拟现
高校大学生思想政治教育是新时代中国特色社会主义事业的重要组成部分,高校作为思想政治教育的主要阵地,其所承担的立德树人的教育目标受到前所未有的重视。作为思想政治教育的主体对象,大学生的成长规律对于思想政治教育的成效会起到特别重要的影响。随着高校立德树人根本任务的确立,如何遵循大学生成长规律创新高校的思想政治教育成为当前亟待解决的问题和理论界亟待研究的课题。大学生成长规律界定为大学生在成长过程中所表现
随着互联网及大数据的飞速发展,用户对卫星通信数据传输有了更高传输速率、更大传输容量等需求,卫星微波传输技术难以满足用户需求。采用卫星激光通信技术可以大幅度地提升通信信息在传输过程中的质量与效率。卫星光网络具有极大的发展潜力并将成为未来卫星网络的研究热点与发展趋势,有望成为未来空间通信的主要形式。在卫星光网络中,路由与波长分配(Routing and Wavelength Assignment,RW
本论文以新世纪中国书法艺术西向传播的路径为研究对象,采用跨学科的研究方法,从新世纪中国书法艺术西向传播的文化路径、实践路径,以及汉语国际教育背景下的传播路径这三个