基于神经网络的对话生成方法研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:baino1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对话是人与人之间交流的重要方式,同时也是人机交互的主要手段。随着人工智能技术的发展,对话生成技术也得到快速发展,但其仍不能满足人们日益增长的生活需求。研究基于神经网络的对话生成新技术,对促进对话系统和人机交互技术的发展具有理论价值和实际指导意义。目前,基于深度神经网络的对话生成方法已经取得了较大的进展,但仍存在一些问题需要探索:(1)现有的端到端对话生成模型容易生成通用性回复,并且生成的回复包含有用信息较少且多样性较差。因而如何生成富含较多有用信息、多样的回复成为实际应用中亟待解决的问题。(2)人与人之间的交流是富含情感的,而现有的对话生成模型缺乏共情能力。因而,构建多轮情感对话生成模型成为一个新的研究热点。(3)性能优越的对话生成模型依赖于大规模高质量的对话语料,尤其是在面对新领域时,较少的对话语料会导致其性能严重下降。因此,低资源场景下对话生成方法的研究成为迫切需要解决的问题。面对对话生成现存的问题,本文深入研究基于神经网络的对话生成方法,围绕生成富含有用信息且多样回复的对话生成模型、多轮情感对话模型以及低资源对话生成模型的解决方案开展研究,研究方法及成果总结如下:1、针对现有对话生成模型生成的回复有用信息少且多样差的问题,提出了两种主题感知的分层隐变量对话模型(VHCR-T),即带有注意力机制的主题感知模型和带有双主题隐变量的主题感知模型。两种模型通过对主题级别的信息提取特征来感知上下文中包含的主题信息,然后将提取的特征输入解码器以生成包含更多信息的回复。同时,两种模型中使用的句子级别隐变量能增加回复的多样性。实验表明,相较于基准模型,VHCR-T可以有效提升回复的信息量和多样性。2、为进一步提升对话回复的信息量同时保持回复的多样性,提出了一种基于知识和多样句法的对抗对话网络(SDAN)。考虑引入知识图谱中的知识增加回复的信息量,但保持回复多样性所使用的语义隐变量可能会影响知识图谱中知识解码的准确性。因此,为了实现增加多样性和保持知识解码准确性之间的平衡,该网络引入多样的句法信息用于生成句法多样的回复,同时不会影响到知识解码的准确性。此外,SDAN还引入对抗生成网络到语义编码模块,以确保语义编码模块不包含句法信息,从而保持句法的可控性。实验表明,SDAN在保持回复语义不变的基础上,既能保持知识解码的准确性,又能提高回复的多样性。3、针对生成具有共情能力的回复问题,提出了一种多轮情感对话模型(MECM),该模型在分层隐变量模型的基础上增加了一个情感隐变量,用于建模上下文之间的情感传递过程。同时,引入了一个情感分类器,一方面用于增加对话过程中模型的情感识别能力,另一方面用来指导情感隐变量。此外,采用多任务学习的思想,将情感识别和对话生成两个任务同时训练以增加对话生成的效果。实验结果表明,MECM相较于基准模型,既能提高回复的语义相似性,又能极大地提高回复的多样性和情感表达的准确性。4、针对低资源场景下的对话生成问题,提出了一种基于逆课程学习的多源低资源对话生成模型。该模型首先使用复述生成模型、回译模型和预训练对话生成模型生成基于源数据的增强数据,并将源数据与增强数据融合在一起训练。然后,采用了课程学习、逆课程学习和课程学习+逆课程学习三种训练策略对融合后的数据进行训练。最后,用源数据对训练好的模型进行微调。实验结果表明,相较于基准模型,提出的模型在语义一致性和回复多样性方面都得到了显著的提高。
其他文献
钙钛矿材料在太阳能电池应用中取得巨大成功,引起了人们对这类材料的广泛关注。这类材料具有禁带宽度可调、光吸收系数大、激子扩散长度长、薄膜制备工艺简单等优点,除光伏器件外,在发光及光电探测器件等方面也有广泛的应用。在薄膜器件中,除功能层材料本身的光电特性,界面对器件性能的影响也非常重要。本论文以有机/无机杂化钙钛矿为功能层制备了光电探测器,并研究了采用溶液法制备的纳米TiO2薄膜、纳米SnO2薄膜以及
学位
在大功率电能变换的领域,多电平变换器由于其输出电压等级高、输出谐波特性好等优势而得到了广泛的研究和应用。其中,直接箝位型多电平变换器无需多个直流电源供电,各相共用直流侧级联电容,不包含悬浮电容,因此具备结构紧凑、控制易于实现等优点,具有重要的研究价值。本文的工作围绕一种新型的V形箝位型多电平变换器(V-clamp multilevel converter,VMC)展开,从VMC的拓扑工作原理、线路
学位
铁路牵引供电系统中,谐波、负序和无功等电能质量问题,及列车过分相问题较为突出,影响着电网及列车的安全可靠运行。既有的基于潮流变换器的同相供电方案虽解决了牵引供电系统中的电能质量与过分相问题,但对于自耦变压器(Auto-Transformer,AT)供电系统并不完全适用,仍有优化空间。为此,本文针对AT同相供电装置拓扑结构方案展开研究,在此基础上,对方案的基本运行控制及工程化应用涉及的控制进行深入的
学位
大型汽轮发电机是整个电力系统的关键核心装备,在工农业生产、国防、科技及日常生活中发挥着不可或缺的作用。2021年,火电所用汽轮发电机组以50%的装机占比提供了66%的用电量、支撑了75%的高峰负荷需求。在未来相当长的时间内,汽轮发电机组仍将发挥“压舱石”作用。大型全空冷汽轮发电机相对氢冷和水冷汽轮发电机,因其运维方便,经济性高,且没有氢爆、漏水和漏电等风险,广泛应用于燃气-蒸汽联合循环电站、特高压
学位
纯电动车用驱动电机较多采用高效率和高功率密度的永磁同步电机(PMSM:Permanent Magnetic Synchronous Machine)。PMSM能量来源主要受电池等存储容量的限制,在保证安全性前提下提高控制系统的整体性能来增加续航里程,对负责信源转换的变换器及其调制和控制策略提出了更高要求。本课题以控制永磁同步电机的中点钳位(NPC:Neutral Piont Clamp)三相三电平
学位
光学超材料因其独特的电磁学和光学特性,在高分辨光学成像、高效光能吸收利用、高灵敏生物检测和发光增强控制等应用领域被寄予厚望。但是光学超材料的结构制备要求复杂,尤其是三维结构的亚波长光学超材料复杂度和多层化要求使构建工作更加困难。虽然可以部分依靠电子束刻蚀、激光光刻等高精度微加工方法进行制备,但是工艺复杂、成本高昂、适用层数有限。发展低成本和大规模制备三维光学超材料的非微加工依赖的材料学方法,一直是
学位
配电网的灵活、安全与可靠的运行具有重要意义。与现有的数据采集和监控(Supervisory Control And Data Acquisition,SCADA)系统相比,同步相量测量单元(Phasor Measurement Unit,PMU)为配电网提供了快速、精确与可靠的相量量测数据,可极大提升配电网能观性水平。但由于技术和经济的限制,配电网在短时间内难以实现全部节点装设PMU装置,导致不同
学位
基于以太网的列车通信网络(Ethernet-based Train Communication Network,ETCN)具有速率高、开放性强等优点,是新一代列车的首选车载控制网络。然而,在列车内外的信息交互途径越来越多、交互量越来越大的背景下,ETCN的应用降低了车载网络与外部网络的信息交互门槛,打破了传统车载网络因相对封闭而产生的“网络安全壁垒”,增加了车载网络受到网络攻击的潜在风险、给其网络
学位
随着核能技术的不断发展与利用,大量高放固体废物随之而生。对高放废物进行深地质处置是目前全世界公认的最具潜力、最有希望投入应用的处置方案。在高放废物处置库的设计中,废物罐周围的缓冲层由高压实的膨润土砌块堆砌组成,在施工过程中必然会形成施工接缝,而施工接缝成为了缓冲/回填材料潜在的水力缺陷与强度薄弱部位。处置库运行期间,缓冲/回填材料会受到热、水、力等多场耦合作用的影响,因此含接缝的缓冲/回填材料在热
学位
随着信息技术的发展,全方位的网络服务和众多移动应用为人们在网上发表观点提供了便捷的途径,这使得网络上蕴含情感的评论文本大量产生。如何让机器理解评论文本的语义并判断其情感倾向,为搜索排序、商品推荐、事务决策、社会治理等上层应用提供依据,已成为学术界和工业界共同关注的热点问题。在实际的应用场景中,评论文本往往面向的是不同的领域,而不同领域的评论针对的是不同的评论对象,所采用的表述语言和情感词汇是有差异
学位