开放域生成式对话系统关键技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:lvyuxuan3652008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对话系统旨在以连贯的方式与人类交互,在现实生活中具有广泛的应用场景,例如客服系统、个人助理和聊天机器人等。早期的对话系统大多采用基于规则的方式构建,需要耗费较高的人力成本同时也难以扩展。近年来,随着社交网络的兴起,对话数据积累到了相当大的规模,进而促进了数据驱动的对话系统的发展。一方面,数据驱动的对话系统可以根据对话内容领域的不同划分为任务型对话系统和开放域对话系统。任务型对话系统的对话内容限定在任务相关的领域之内,而开放域对话系统不存在领域限定,因而会涉及更为多样的话题和表述形式。另一方面,数据驱动的对话系统还可以根据回复产生的方式分为检索式对话系统和生成式对话系统。检索式对话系统通过检索、重排序等步骤从预先构建的候选回复集合中挑选回复并返回给用户。候选回复收集自真实的人类对话数据,因此具有良好的多样性。但由于检索式系统的回复不能根据对话历史进行定制化,因此可能包含与对话历史不相关的内容。相对地,生成式对话系统则可以根据对话历史定制回复。本文主要研究了开放域生成式对话系统。目前,对于该系统的研究主要集中在两个方面:回复的连贯性和多样性。其中连贯性要求回复包含与对话历史一致相关的信息,是回复质量的基础属性。此外,回复还被期望具有多样性,能够包含多样的话题和灵活的表述形式。然而,现有系统在连贯性方面仍存在着倾向于生成一般性回复的问题,这些回复包含的信息量较少,因此与对话历史连贯性较差;同时,现有通过关键词等形式的资源丰富回复信息量的方法,又会由于缺少对内容的规划而影响回复的相关性。多样性方面,对话生成本质上为‘‘一对多’’的任务,同一对话历史对应多个合理的回复。然而,训练数据所包含的回复数量有限,而模型又缺乏对未知潜在回复的探索,因此限制了模型学习多样回复模式的可能。此外,现有系统优化单一真实回复似然的训练方法,过度简化了对话生成的目标。模型即使探索了潜在回复,该回复的生成过程在现有训练目标下仍将被施以惩罚,这进一步限制了多样性的提升。针对以上问题,本文制定了如下的研究内容:基于序列到序列模型的对话生成启动机制:针对对话生成模型倾向于生成信息量较少的一般性回复的问题,本文分析了导致该问题的一种可能的原因:现有启动机制倾向于预测低信息量的高频词作为首词,级联影响了后续生成过程。基于上述分析,本文提出了一种新的启动机制,可以显著提升首词预测的准确率和信息量,继而级联提升后续回复内容的信息量。在多个对话生成模型上的实验结果表明,该启动机制可显著减少一般性回复出现的概率。基于多关键词的对话生成内容规划:针对对话生成模型在信息量充足时因缺少内容规划机制而引发的相关性问题,本文在基于多关键词的对话生成范式下,提出了一种内容规划方法。该方法可以自动推理最适合当前对话历史的关键词词序,并生成包含该词序下的多个关键词的相关回复。基于反事实推理的对话生成训练方法:针对现有训练方法缺少对多样潜在回复的探索的问题,本文提出了基于反事实推理的训练方法。该方法可以自动推理给定的真实回复生成时的场景,并在该场景下生成可替代真实回复的潜在回复,即反事实回复。实验结果表明,对多样的反事实回复的探索可以显著提升生成回复的多样性。检索增强的对抗式对话生成模型:针对现有对话生成模型过度简化了训练目标而导致的无法识别多样潜在回复的问题,本文提出了一种检索增强的对抗式对话生成模型。该模型模拟了人类根据经验中相似对话数据评价回复质量的过程,引入了一个基于N-best候选回复的判别器用以更好地识别不同于训练集回复的多样回复,进而鼓励多样回复的生成。总的来说,本文致力于开放域生成式对话系统回复的连贯性和多样性两个问题的研究。针对连贯性问题,本文分别探讨了提升信息量和在信息量充足的条件下提升相关性的方法。针对多样性问题,本文研究了如何在训练过程中更好地探索和判别多样的潜在回复进而提升回复多样性的方法。本文的研究可以显著提升生成回复的连贯性和多样性,从而得到更加接近人类的回复、提升现实生活中各类对话系统应用的用户体验。
其他文献
由于外界环境的侵蚀作用,钢筋混凝土结构的抗震性能会随服役期的增长而发生劣化。我国的耐久性环境区划及第五代地震动参数区划图表明,我国有很多同时处于耐久性环境恶劣及高烈度抗震设防的地区。钢筋锈蚀是造成钢筋混凝土结构抗震性能劣化的主要原因。钢筋混凝土结构中钢筋的锈蚀作用会降低结构的抗震能力。与此同时,由于锈蚀引起的结构的抗震性能下降,使得在相同的地震动激励下锈蚀结构反应可能较未锈蚀结构更大,即锈蚀放大结
学位
随着空间技术的发展,深空探测等大型航天任务需要通过数十乃至成百上千颗微小卫星通过信息交互和协同控制完成。部分空间任务无需精确队型保持,微小卫星群成员相对姿态和相对位置只需保证任务正常完成即可;对于规模较大的微小卫星群系统,为保证对成员的干预能力,需要设置多个领航星;微小卫星群系统信息拓扑结构对控制性能影响较大,有必要对信息拓扑结构进行设计以利用较少的能量获得期望的控制性能。基于上述问题,本学位论文
学位
随着国内教育的持续改革以及教育环境的不断改善,也让幼儿的教育活动丰富程度显著增进,这当中尤为显著的便是户外类游戏活动。而诸如沙水游戏项目的有效开展,可进一步提升幼儿学习的兴趣度,并可一定程度上培养其优异生活及学习习惯,从真正意义上推动幼儿综合素养的整体化提升。立足于此,本文将以幼儿园户外游戏的开展作为立足点,以深入探究其有效开展的具体举措。
会议
近年来,我国强震灾害频发,一次强主震往往孕育着多次余震,余震为结构带来的“二次损伤”不容忽视。然而,在现行抗震设计规范和实际工程应用中,均未对余震进行充分地考虑。这极大影响了真实地震事件中的结构安全评估结果。为充分评估结构在地震作用下的地震响应和抗震性能,从而进行震前预防和震后决策工作,美国太平洋地震工程研究中心曾率先提出了基于全概率的新一代基于性能的地震工程概率决策框架。该框架以地震风险为研究目
学位
期刊
现代航空发动机正面临着高稳定性、高推重比和高失速裕度的挑战,解决这些挑战的一种方法是减少压气机的级数,以提高压气机的负载能力。然而,这就会导致每一级必须承担更高的增压比,通过合理地组织叶栅通道内的激波增压,超声速扩压叶栅可以实现高增压比。超声速扩压叶栅位于吸气式推进系统流道的最前端,将机身与推进系统连接起来。由于来流是超声速的,叶栅通道内的激波旋涡结构在为发动机提供充足、稳定、增压的气流方面起着主
学位
期刊
tsRNA是由前体或成熟tRNA转录本在不同位置由相应的酶切割所产生的tRNA片段。研究发现tsRNA参与基因转录、翻译等表观调控过程,且与多种心血管疾病的发生发展密切相关。本文综述了tsRNA的分类、生成和检测,同时介绍了tsRNA在心血管疾病中的生物学效应和相关机制的研究进展,为心血管疾病治疗新靶点的开发提供思路。
期刊
随着经济的发展和设计方法的进步,近年来列车设计向着轻量和高速化发展,使得列车整体结构刚度削弱,柔度增加。在列车碰撞过程中当车体结构所承受载荷超过设计载荷,达到车体结构的极限承载状态时,将导致列车车体结构崩溃破坏。此外车体结构动态极限承载力较静态极限承载力偏大,基于静态极限承载力的车体结构设计方法将造成车体结构的质量冗余,因此合理评估车体结构在碰撞冲击载荷作用下的动态极限承载力成为列车设计人员亟待解
学位
期刊