【摘 要】
:
开放域对话系统是自然语言处理领域的一个重要研究内容,具有广泛的应用前景,感知用户的情绪并生成带有情绪的回复对于开放域对话系统具有重要意义。情绪对话回复生成方面的前期工作大多是基于Seq2Seq架构的,而基于Transformer架构的大规模预训练模型已成为自然语言处理的主流方法。因此,本文研究基于预训练模型的情绪对话回复生成,提出情绪嵌入和多任务学习两种融入情绪的方法,具体内容如下:(1)基于情绪
论文部分内容阅读
开放域对话系统是自然语言处理领域的一个重要研究内容,具有广泛的应用前景,感知用户的情绪并生成带有情绪的回复对于开放域对话系统具有重要意义。情绪对话回复生成方面的前期工作大多是基于Seq2Seq架构的,而基于Transformer架构的大规模预训练模型已成为自然语言处理的主流方法。因此,本文研究基于预训练模型的情绪对话回复生成,提出情绪嵌入和多任务学习两种融入情绪的方法,具体内容如下:(1)基于情绪嵌入的回复生成模型EmoDialoGPT。该模型在预训练模型DialoGPT基础上引入情绪嵌入和情绪预测损失,设计了三种不同的情绪嵌入方法,包括一个单独的情绪嵌入层、一个特殊的情绪标记拼接到源语句的首部以及一个特殊的情绪标记拼接到源语句的尾部。为了获得大规模带有情绪标签的对话数据集,用于EmoDialoGPT模型的训练,首先学习一个文本情绪分类器,对大规模对话数据集自动标注情绪标签。我们分别将模型应用于英文和中文的情绪回复生成,从情绪表达的准确性、回复质量的自动评估、回复质量的人工评估三个方面分别对模型进行评价。实验结果表明,EmoDialoGPT模型能够根据指定的情绪较好地生成表达相应情绪的回复,并在大多数指标上都优于基线模型,其中基于单独的情绪嵌入层的情绪嵌入方法效果最好。(2)基于多任务学习的回复生成模型EmoDialogBART。该模型基于预训练模型BART,将回复生成与情绪识别作为两个任务纳入多任务学习的框架,通过参数共享,使得回复生成模型具有感知情绪的能力。根据情绪的不同粒度可以控制多任务学习中任务的数量。从情绪识别、回复质量的自动评估、回复质量的人工评估三个方面对模型进行评价。实验结果表明,EmoDialogBART模型能较好地感知源语句的情绪,并能生成带有适当情绪的回复,在大多数指标上均优于基线模型。通过在数据集DailyDialog与OpenSubtitles上的对比实验可以看出,高质量的对话数据集可以明显提升模型回复生成的效果。
其他文献
膜分离技术以其具有高效、节能、过程易控制、操作方便等优势,在废水处理领域受到广泛的关注。聚偏氟乙烯(PVDF)凭借着较强的化学稳定性、机械强度高等优势成为常用的超滤、微滤膜材料。但是在实际应用中,仍受到膜污染引起的分离性能下降的限制。解决这一问题的方法有很多,但最直接有效的方法还是提高膜本身性能。本论文以聚偏氟乙烯(PVDF)为膜材料,以聚乙烯吡咯烷酮(PVP)为添加剂,采用相转化法制备聚偏氟乙烯
随着社会的快速发展,无线传感网络和低功耗电子设备广泛的应用在人类的生产生活中,传统的化学电池供能方式存在着能量密度小、寿命短等缺点,而且不符合当代社会绿色环保的发展理念。气流能量采集器能将自然界中广泛存在的气流能量转化为电能为电子设备供能,被认为是一种长期、高效、绿色的电子设备供电方式,成为了国内外学者的热点研究方向。本文对课题组提出的抗磁悬浮气流能量采集器做了进一步研究,通过对采集器关键结构参数
齿轮箱作为旋转机械中应用广泛且易损坏的部件,在传递运动和动力的过程中承担着重要角色。在复杂工作条件下,齿轮箱关键零部件齿轮、轴承等极易发生故障,故障样本往往稀缺且模态单一,待测目标样本少标签甚至无标签,致使故障诊断困难。随着大数据时代的到来,基于深度学习智能故障诊断凭借对数据强大的特征处理能力得到广泛关注。针对上述问题,引入多模态融合技术以提取更为全面的故障信息特征,引入迁移学习技术用于解决训练数
无纺布作为医疗卫生等领域的原材料,其生产的产品与我们的生活息息相关。在无纺布生产制造过程中,由于生产环境和制造工艺等客观因素的影响,在无纺布表面会产生黑点、白点、断裂、划痕等缺陷。目前,在我国大部分的无纺布生产车间中,都是由人工来检测表面缺陷,检测效率和精度都比较低。近年来,深度学习模型成功的应用于目标检测领域,并且将逐步取代传统的机器视觉对产品缺陷的检测。为此,本文基于改进YOLOv3算法对无纺
静电纺丝技术是利用电场力实现纳米纤维连续制备的一种方法,因其原理和装置简单易于实现,被广泛用于各领域新型纳米材料的研发应用。其中多针静电纺丝技术相比于传统单针静电纺丝的效率低下和无针静电纺丝的纤维直径较大,质量不一,在纺丝效率和纺丝质量上都表现出巨大的优势。多针喷头其针头的排布结构可直接影响纺丝过程中工作电场的分布,继而影响所纺纤维的质量。因此,本文提出了一种正六边形分布的多针喷头,对其电场分布和
随着社会的不断发展,城市化日益加剧,新建筑不断取代旧建筑,城市因此而变,变新,变得人们还要重新认识自己的城市。同时,全球化背景下的单一价值倾向和标准化的建造模式正在侵蚀建筑文化的多样性,丰富多元的地方建筑逐渐消失,这两方面的影响产生了不可逆的趋势。当重新审视建筑,我们很难否认一个事实。对外,建筑与环境的关联不断被削弱,当需要重新认识自己所处的环境时,何谈归属感;对内,因城市过度以及过快发展,快速造
2020年以来,新型冠状病毒在全世界范围内大肆传播,给人们的生产生活带来了极大的不便。佩戴口罩是预防新型冠状病毒的有效手段,但佩戴口罩以后,以往基于人脸识别的门禁系统的识别正确率大幅度下降。在公司或实验室考勤、医院或养老院进出及车站安检等场合,常常需要人们摘下口罩进行识别,不仅麻烦,而且摘下口罩也给防疫带来了很大的挑战。本课题紧密围绕智慧防疫门禁系统的关键工程技术问题,以实现“佩戴口罩”和“未佩戴
随着社会的发展,能源和环境危机愈加严重,开发可再生的清洁能源是亟待攻克的难题。光电化学(photoelectrochemical,PEC)分解水是制备绿色氢能的有效手段之一,然而光阳极的水氧化反应作为一个4电子反应过程,是PEC分解水反应的决速步。氧化铁(Fe2O3)由于其较窄的带隙、合适的价带能级位置、丰富的原料储量,被认为是一种理想的PEC光阳极材料,其理论太阳能-氢能转化效率高达16%。然而
能源是当今社会发展进步的重要推动力。化石能源得到了大量的开发使用,但是化石能源是不可再生能源,而且会带来温室效应和环境污染,因此可再生能源的应用越来越广泛。太阳能是重要的可再生能源,当前最好的太阳能利用装置之一是光伏电池。在光伏系统中加入储能电池作为光伏电池运行时的辅助电源已经非常流行。为了优化光伏电池的输出功率以追踪最大功率点,监测储能电池工作时的状态,对光伏系统中电池模型的内部参数进行辨识尤为
过盈装配是通过工件间的过盈配合来实现装配的一种配合方式,由于其结构简单、对中性好等优点,被广泛用于各种机械装备中。过盈配合的质量决定着机械设备的服役性能,由于在服役过程中受到振荡、冲击、负载等作用,会出现应力集中、偏载等情况,从而造成过盈配合出现松动,甚至在边缘处萌生微动裂纹,因此有必要对过盈配合的质量进行检测。本文通过激光超声的方法评价过盈配合的连接状态,主要包括过盈配合的装配状态,即是否松动;