基于生成式对抗网络的开放领域多轮对话

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:chenjinggoigo123456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在自然语言处理的各种领域中,人机交互是近期以来人工智能领域比较热门的研究方向。人机对话也是比较有挑战性的任务,其中涉及到的技术有很多。人机对话分为单轮对话和多轮对话,单轮和多轮是指人机进行交互的次数,其中多轮对话就是人机进行多次交互,更适用于真实场景,且对自然语言生成能力的要求更高。开放领域的对话是指不限制特定范围的闲聊对话。本文重点研究了基于生成式对抗网络的开放领域多轮对话,探索并实验了基于生成式对抗网络的对话系统引入融合注意力机制是如何设计及训练的。以下是本文的两点工作内容及成果的简单介绍:针对于多轮对话回复中细节和逻辑与前文内容冲突的问题进行了改善,本文提出了融合了多注意力机制的多轮对话的检索式模型。该方法使用自注意力,多头注意力机制提取不同表示子空间里的信息并且使用交叉注意力机制作为另外一种编码方式,引入局部注意力使对话上下文每句对应不同的权重,最后使用卷积提取的特征经过激活函数计算匹配分数。实验结果显示本文的模型在多个数据集上指标优于已有最好的模型,体现了检索式模型精准的关注细节,区分正负样本的能力。针对于对话回复中安全回复的倾向性,本文提出了由检索式模型辅助生成式模型的多轮对话。该方法的检索式模型使用前文预训练后的检索模型,生成式对抗网络的部分在生成器模型内添加了一个近似编码层,该编码是通过解码器的softmax层获得的分布概率乘以相应的单词向量来获得。最终本文将生成模型和判别模型联合训练。实验结果显示,在Ubuntu的三轮对话数据集中,贪婪度量,平均度量和极值度量的指标均高于基础模型,解决文本数据的导数反向传播的问题,加强了对多轮数据前文的综合理解,避免了生成器生成安全回复,证明了所提出的模型可以通过模仿输入的句子来产生真实的句子,并且学习到的潜在表示空间可以连续地编码合理的句子。
其他文献
近年来,农田土壤重金属污染日趋严重,铬是重要的污染物之一,它严重影响农作物的生长发育,危害农产品的品质和安全。研究表明,当代农作物在逆境诱导下获得的抗性可以传递给后代,调节子代对环境胁迫的响应,且有机酸代谢物的组成和含量能反映农作物的生长代谢状态,因此研究农作物有机酸代谢的传代记忆效应对于重金属胁迫下农作物的代谢响应机制的研究以及对重金属的抗逆新品种的改良和培育都具有十分重大的意义。本研究从代谢角
随着国际邮轮产业快速发展,邮轮环境问题日渐突出。我国现阶段,邮轮港口环境问题虽然并不突出,但是,随着我国邮轮产业及经济的快速发展,邮轮港口环境风险势必成为一个隐患,包
随着网络空间的不断拓展、互联网的影响力不断增大,其在带来便利的同时使得越来越多的人暴露在安全隐患之下。在这种情况下大量的信息安全产品涌现出来,随之而来的是产品信息安全质量难以识别和评价的问题。及时对这些产品进行安全质量评价能够发现可能存在的安全问题,对维持网络空间安全秩序、保障用户信息财产安全至关重要。传统的信息安全质量评价方法能够直接对信息安全产品的脆弱性、安全风险、安全技术等进行量化评估,在一
随着移动互联网的快速发展,出现了越来越多的短视频平台,例如抖音短视频、快手短视频等。这些平台已经成为人们休闲生活中必不可少的一项娱乐活动,发布在平台中的视频大都是人们发布的日常生活等内容,但是也有人会利用视频发布平台发布一些违规的内容,甚至会出现犯罪人员,这给公共安全提出了很大的挑战。同时公安所关注的重点人员也可能会出现在某个视频中,该系统为公安寻找关键人物提供一种辅助手段,同时也可以为公共安全提
目的:本研究旨在通过分析腰椎后路椎间植骨不融合的相关因素,探讨椎间Cage植骨不融合的高危因素,为临床有效预防和治疗椎间Cage植骨不融合提供理论依据。方法:回顾性分析2015年2月-2018年12月因腰椎退行性疾病在暨南大学附属第一医院脊柱创伤一区住院行后路椎间Cage植骨融合术的患者。经过筛选共纳入294例符合标准的患者,男性126例,女性168例,平均年龄56.40±14.51岁。根据椎间C
随着在线教育和终身学习理念的普及,越来越多的学习者通过在线学习平台获取各个学科领域的课程,以满足自身个性化学习的需要。然而随着课程数量越来越多,学习者很难快速、准
本研究以枝鞘藻为实验材料,首先研究该藻在三种光强(100μmol·m-2·s-1、300μmol·m-2·s-1和双侧300μmol·m-2·s-1)、四种初始氮浓度(1 mmol/L、3 mmol/L、9 mmol/L、18 mmol/L)条件下更换为无氮或加盐(50 mmol/L)培养基过程中的生长、虾青素和油脂积累规律,以期为该藻培养条件的优化提供一定的理论基础。由于两步法培养周期较长,所以
高校教育事业的不断迸发与进展,高等学校其学生人数的不断增加,正不断扩大着其办学规模。培养栋梁之才的责任担负在我国高校教师的肩膀上,而且承担着教学科研的内容,工作的任务和压力逐渐增大。高校教师要有丰富的教学知识,熟练的教学技巧;因此他们对增强体质,促进社会发展,为国家培养高质量人才起着重要积极的作用。该研究以乌鲁木齐市普通本科高校600名教师的身体健康情况及体育锻炼情况为研究对象,运用数理统计法、问
随着国内产业链的完善,老牌外资家洗衣机通过自身资本在国内并购和自身建厂的方式企业进入中国市场,国外品牌依据自己的技术,设备,资金优势,使得中国国内家电业的竞争由量向质优价廉的方向转变。从2010年开始中国已经成了全球最大的洗衣机生产国和输出国。从国内消费统计的数据来看洗衣机年消费量理论上可以达到3400万台。产品的功能升级和技术创新是现在用户的消费主流。国内市场的巨大需求促使外资企业为了在激烈的国
上海地铁自从修建以来,已经有二十年多年历史了,现在许多条地铁列车已经出现不同程度的损毁,作为地铁的核心动力部件—地铁转向架,它的好坏是决定了地铁能不能够稳定运营的前