知识驱动的开放域对话方法研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:lyztracy
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
开放域对话系统是人机交互、智能科学、自然语言处理等学科关注的重要任务之一,因其在闲聊机器人,虚拟个人助理,医疗支持等领域的优秀商业价值而受到学术界和工业界的广泛关注。开放域对话旨在让机器理解并熟练运用自然语言,以人类语言沟通的思维逻辑与用户进行交互,要求机器生成的语句不仅需要符合上下文语义和基本的语法规则,还必须要反映出足够多样的内容。语言的表达与知识密不可分,在对话中借用背景知识进行思考是人类交流智能的重要特征,近年来,研究人员致力于在开放域对话系统中引入外部知识库来弥合机器与人的背景知识差距,以此来提升对话模型的性能。然而,现有的知识驱动对话模型在复杂场景下的性能表现依然不能令人满意,现存工作主要存在以下两点不足:1)知识选择的准确率低下,在面临对话主题转移等复杂对话场景时,现有的知识选择方法缺乏推理能力,难以根据当前对话泛化到正确的知识;2)知识融合的效率不足,模型缺少对知识内部细节的动态关注,难以生成知识类等稀有词汇。本文将以非结构化知识在开放域对话系统中的知识选择和知识融合两部分为切入点,对知识驱动的开放域对话方法展开研究,主要研究内容包括:1.提出了一种带有一跳推理机制的发散性知识选择方法,用于改善模型在复杂对话场景下知识选择的鲁棒性和泛化能力。为了解决主题转移导致的知识选择边界问题,本文构建了一种基于主题关联信息的知识优化模块,并设计了教学框架和内容约束来指导和限制关联信息的推理过程,知识优化用于完善不同知识条目之间的主题差距,降低主题转移的影响,提升知识选择在复杂对话场景下的准确性和鲁棒性。2.提出了一种知识感知的对话生成方法,用于提升模型在解码阶段的知识融合效率。该方法在Transformer解码器中引入了一个新颖的知识注意力子层,利用注意力机制建模知识与回复之间的相关性,在解码过程中动态的关注知识内部细节,捕捉知识中的关键信息。其次,在回复词预测的过程中,该方法还包含一种附带拷贝机制的双源指针网络,通过词语复制的方式将知识中的稀有词汇直接嵌入到回复中,加快了模型收敛速度,增强了模型生成稀疏词汇的能力。本文在最近发布的维基百科知识基准对话数据集Wizard-of-Wikipedia上实验验证了上述所提方法的有效性。实验结果表明,相较于目前的主流知识驱动对话方法,本文所提的方法在量化及人工等多种评价指标上均取得领先,所提方法相比于最优基线模型在知识准确率和知识融合效率方面分别有着12.7%和9.6%的性能提升,可以生成更加自然通顺,知识内容丰富的回复语句。
其他文献
贵金属(Au、Ag等)纳米颗粒具有独特的局部表面等离激元共振(LSPR)性质,在可见光照射下表现出强烈的颜色可调节性,因此被广泛地应用于比色传感器的构建。此外,金属纳米颗粒的LSPR特性可以调节局部荧光团光学行为,即等离激元增强荧光现象(PEF),从而实现对荧光团或者其他荧光分子发射强度的指数级增强,使其在低丰度物质荧光检测方面拥有巨大潜能。然而,目前大部分的传感策略仍依赖于金属纳米颗粒的合成和荧
“哈伯-博施”(Haber-Bosch)固氮法作为工业合成氨工艺,为社会发展和科技进步做出了巨大贡献。然而,此工艺需要苛刻的反应条件,不仅能耗高而且排放大量的温室气体。因此,改进传统的工业固氮技术,寻求高效、低耗、清洁的合成氨方法已成为近几年的研究热点。常温常压下可见光催化氮气还原为氨气被认为是绿色合成氨技术之一,近年来受到研究者们广泛关注。但是,高效光催化剂种类有限、催化剂对可见光的利用效率低、
边缘计算的发展,催生了“边服务市场”计算模式。越来越多的用户将服务请求提交到边缘服务器(提供商)上执行。随着服务请求的增多,大规模请求并发的情况在所难免,请求失效的情况也逐渐增多,严重时可能导致系统崩溃。因此用户的请求策略需要优化。如何优化用户请求策略的同时提升用户的效益变得十分重要。而提供商也期望效益最优化。两者之间是相互矛盾的。价格是边服务市场的调节杠杆。具体而言,当服务价格过高时,提供商的效
碳-氮(C-N)键是有机物中常见的一类化学键,具有较高的解离能,通过C-N键裂解构建复杂的功能化合物具有重要意义。目前,利用过渡金属催化使简单含氮化合物发生C-N键断裂,形成含氮和含碳的合成砌块,再与另一分子结合构建新的C-Z键,已经成为一种合成新型功能分子的方法,具有良好的应用前景。本文基于惰性sp~3C-N键断裂,利用过渡金属促进反应进程,成功实现了新的C-C键和C-P的构建,合成了炔丙胺和二
随着科技的蓬勃发展,智能机器人走入了我们的生活,为我们的衣食住行带来了许多便利。智能机器人可以代替人类去一些极端、危险、人力所不能及的环境进行工作,因此需要具备自主导航和避障的技术,而SLAM(同时定位与地图的构建)算法可以帮助智能机器人实现导航、定位、建图等功能,是智能机器人不可或缺的一部分。近年来,视觉SLAM算法日趋成熟,难有大的理论突破,深度学习技术则日新月异,在很多方面都取得了很大的进展
随着计算机硬件能力的提升以及大数据时代的到来,深度学习技术得到了极速发展。相较于其他机器学习领域的智能算法,深度学习模型使用了更加复杂的模型结构和更大规模的数据量,因此能够模拟更多实际场景中的问题。卷积神经网络作为深度学习的一种代表算法,被广泛应用自然语言处理、图像识别、目标检测等领域。随着任务复杂度的提升,通常模型的结构会更加复杂,如模型层数和参数量将成倍增长,消耗了大量的存储和计算资源,从而使
由非手性分子构筑的具有手性光学活性的超分子聚集体因其可能与手性甚至生命的起源有关,近年来引起了科学家们的极大关注。目前在化学和材料领域都有广泛的应用,比如分子识别,不对称催化,材料科学和纳米技术等。研究超分子手性,最基本的问题就是构筑基元的选择。一方面构筑基元分子间应存在足够强的作用力,以驱动手性超分子组装体的形成;另一方面,构筑基元分子自身应具有良好的潜能,这样所形成的超分子组装体存在功能化潜力
金属有机框架(MOFs)是由金属节点和有机配体聚合而成的有序多孔配位晶体材料,其表面积高,孔径大,结构易于调变,在化学催化方面具有广泛的用途。本文以CoⅡ为金属离子源制备了氧析出反应和C-H键氧化反应的两组催化剂。第一组催化剂是以钴离子作为金属节点,通过两步法在泡沫镍上原位合成了Co MOF-NH2,然后通过在氩气氛围里煅烧得到了多孔片状材料Co3O4/NC,将Co3O4/NC以及合成它的一系列前
近年来,随着图像编辑技术的飞速发展,人们可以使用多种篡改技术轻易改变图像的语义内容,产生的虚假图像愈加逼真,逐渐成为图像内容安全的潜在威胁。与此相反,在虚假图像中捕获稀疏的篡改线索并实现篡改技术分类和篡改区域定位仍然是一个具有挑战性的任务。针对上述挑战,本文尝试在多任务框架中,通过深度学习技术提取更通用的图像篡改特征来实现复杂自然环境下的通用图像篡改检测。本文的主要内容包括:1.针对现有数字图像篡
本研究旨在找出本研究所采用的定量研究方法,因其与研究范围的相关性,运用相关关系。研究人员随机选取了一个有代表性的样本(100名)在约旦制造业工作的男女雇员作为研究对象通过问卷调查,得出约旦工业企业的物料处理水平较高,而约旦制业的物料管理水平较高,结果表明,约旦制造业的物料管理水平在统计上不显著(α<0.05)在处理材料和管理方面归因于人口统计学变量(性别、年龄、学历、经验).在对以往的论文和案例研