【摘 要】
:
深度学习带来的技术突破使得自然语言处理领域发展迅速,作为自然语言处理的重要方向之一,对话系统成为了学术界和工业界的关注热点。对话系统按照用途可分成三类:可以协助人类完成特定任务的任务型对话系统、可以解答特定知识问题的问答型对话系统、能够在无特定领域下与人们进行交流的闲聊型对话系统。本文主要基于层次循环注意力网络对闲聊型多轮对话系统展开研究,对比分析发现层次循环注意力网络存在回复语句与对话历史相关性
论文部分内容阅读
深度学习带来的技术突破使得自然语言处理领域发展迅速,作为自然语言处理的重要方向之一,对话系统成为了学术界和工业界的关注热点。对话系统按照用途可分成三类:可以协助人类完成特定任务的任务型对话系统、可以解答特定知识问题的问答型对话系统、能够在无特定领域下与人们进行交流的闲聊型对话系统。本文主要基于层次循环注意力网络对闲聊型多轮对话系统展开研究,对比分析发现层次循环注意力网络存在回复语句与对话历史相关性不足、生成回复语句多样性差等问题。针对上述问题,本文尝试使用深度学习相关技术解决闲聊型多轮对话系统面临的问题,具体所做工作如下:(1)为了提高层次循环注意力网络生成回复与对话历史的相关性,提出了层次自注意网络模型(Hierarchical Self-Attention Network,HSAN)。具体地,我们使用多头自注意力网络替换循环神经网络学习句子表示和上下文表示,以捕捉句子内和句子间复杂的层次语义关系,有利于注意力机制正确地选择和使用对话历史的重要语义信息。在DailyDialog数据集和KdConv数据集上开展了比较实验,并通过将自动评估和人工评估结合的方式对模型进行评估以验证本文所提出的HSAN模型的有效性。与所有基线对比,HSAN模型在中英文测试集的困惑度都为最低,在DailyDialog和KdConv测试集上分别为44.09、30.14;人工评估表明了HSAN能够生成较为相关的回复。通过自动评估和人工评估共同验证了HSAN模型的有效性。(2)为了解决层次循环注意力网络生成回复的多样性不足问题,提出了知识驱动的层次循环注意力网络模型(Knowledge driven Hierarcical Recurrent Attention Network,Kd-HRAN)。本文把知识引入层次循环注意力网络中,通过利用与上下文相关的外部知识以处理回复的信息量较小问题,提高回复的多样性。具体地,在模型基础结构上增加了知识实体生成器,并在解码器部分结合了知识感知门,使在解码的过程中能够利用外部知识引导模型生成信息丰富的回复。本章提出的Kd-HRAN模型与多个基线模型对比在中文数据集KdConv上的表现,通过分析发现Kd-HRAN模型表现更加优秀,生成的回复具有更丰富的信息。实验结果表明Kd-HRAN模型能够提高回复的多样性。
其他文献
随着中国信息化第三阶段的展开,各行各业开始发展以计算机为主的智能化新生产力,由计算机辅助决策大大提高了工作效率,为生产力进一步发展提供了技术支持。有轨车辆作为第二次工业革命就诞生的运输工具,也应该顺应信息化时代的浪潮,形成覆盖广泛的信息链路和并具备自我环境感知能力。这不仅符合有轨车辆自身发展的内在需要,也是国家和社会对安全运输、信息化运输的外在要求。虽然传统双目视觉系统或其他感知设备为矿用机车防撞
注意力缺失和多动障碍(Attention Deficit Hyperactivity Disorder,ADHD)是一种典型的精神功能障碍病症,普遍发生于儿童期,具有社会危害性。目前,对于ADHD病症的检测主要通过父母和儿童的调查问卷、量表以及医生临床视诊,具有很大程度的主观性,且极其容易造成误诊和漏诊。而针对ADHD病症的计算机辅助诊断应用极少,所以采用人工智能技术快速准确地检测ADHD病症,对
我国轨道交通运营线路里程居世界首位、运营规模位居世界前列、客运量也是全球第一。驾驶员是轨道交通运营的关键作业人员,其精神状态直接影响运营安全,而长期的长时间驾驶工作使得驾驶员的身体状态发生改变,其也伴随着决策能力、运动协调和注意品质等素质能力的下降。一旦出现紧急状况,驾驶员的应激反应决定其是否能沉稳有效地解决问题,因此有必要通过监测驾驶员心生理情况、评估其应激能力状态,在意外发生的时候,及时采取恰
<正>党的十九届五中全会对推动经济体系优化升级、推动绿色低碳发展等作出重要部署,要求全面提高资源利用效率、提升产业链现代化水平、加快数字化发展。目前,以人工智能、大数据、物联网、5G和区块链等为代表的新一代信息技术日臻成熟,并加速向各领域、各行业全面融合渗透,成为推动传统产业转型升级、可持续发展的重要驱动力。2020年,住房和城乡建设部等部门印发了《关于推动智能建造与工业化协同发展的指导意见》《加
模糊C均值(FCM)聚类算法是机器学习中使用最频繁的算法之一。FCM聚类算法是一种无监督学习的方式,并不需要预先知道数据集的先验知识,因此如何确定最佳聚类个数成为决定聚类结果质量的重要条件。而且对于模糊聚类算法来说,模糊划分的引入使其比硬聚类算法更符合现实数据集的结构。因此研究模糊聚类有效性评价方法具有重要的意义。目前,模糊聚类有效性的研究主要体现在模糊聚类有效性函数(FCVI)和组合式模糊聚类有
现代科学的进步对医疗水平的提高起到了巨大的促进作用,也使人们对现代医学技术提出了更高的要求。在医院管理工作中,强化科研成果的转化,是保证医疗卫生体系提供良好服务的重要措施。在管理中应用绩效考核是企事业单位在管理工作中所青睐的管理方式之一,通过实施科学化的管理措施,可以有效推动企事业内部人员的理论创新、实践创新和技术创新。本文将基于三级公立医院的日常管理措施,分析绩效考核工作在科技成果转化中的相关问
牵引电机良好的技术状态是保证地铁车辆安全运营的基本前提,然而频繁的加速、制动以及轨道的不平顺冲击等工况使得牵引电机较为容易出现故障。牵引电机振动数据包含丰富的当前运行状态信息,采集牵引电机振动数据是分析其健康状态的重要前提之一,如何便捷地获取牵引电机振动数据是牵引电机健康状态分析的一个重要的研究方向,所以从现场操作便利和符合地铁车辆实际情况的原则出发,设计并实现一套地铁车辆牵引电机振动无线采集系统
轨道交通的振动和噪声问题是在轨道车辆在行驶过程中,车轮与钢轨产生相对作用从而引起的,该问题是不可避免的,只能采取缓解的方法来解决。目前国内各城市的轨道交通均已采用了大量的减振措施,其中一种措施是在需要减振线路段安装减振扣件,如何选取扣件也成为了一个重要的问题。本文主要研究的对象是快速弹条扣件,快速弹条扣件相比于其他形式的减振扣件,对于快速弹条扣件的结构组成、安装流程、线路试验、使用等问题,国内外对
随着微电子技术、新型传感技术的革新,铁路行业正在越来越多地投入使用具有体积小、寿命长、功耗低等特点地无线传感器。受制于铁路行业地环境特征,采用电池供电的无线传感器维护问题以及安全隐患问题任然没有得到解决。依照目前的形势,通过轨道车辆振动能量的收集,代替传统化学能电池为无线传感器网络节点供电将会是未来铁路运营上的研究热点。振动能量的获取主要有静电式、压电式、电磁式三种,在过去的研究中证实,采用单一能
转向架作为城轨列车的关键部件,不仅用于牵引车辆行驶,还能够减缓和传递来自线路和车体的冲击力与载荷的作用力。滚动轴承作为转向架的关键部件之一,其性能的好坏直接影响转向架乃至车辆的运行状态。转向架滚动轴承从正常到失效往往要经历一个连续的退化过程,在车辆运行过程中如果能对滚动轴承的状态进行监测并对滚动轴承的退化程度进行准确评估,就可以有针对性的制定维修计划,有效防止事故的发生。基于此,本文针对列车转向架