【摘 要】
:
近年来,随着深度神经网络的快速发展,基于循环神经网络的模型在机器翻译领域取得了非常显著的成果。因为对话的生成也可以看成是从输入到回复的一种翻译,所以将其应用到对话系统上也是一种非常有前景的方式。并且随着互联网的发展,网络上开始涌现出大量开源的对话数据集,这也使得以数据驱动和端到端的方式训练生成式对话系统成为可能。本文主要研究的是开放域生成式对话系统。不同于特定域的对话系统,其主要目的是和用户闲聊,
论文部分内容阅读
近年来,随着深度神经网络的快速发展,基于循环神经网络的模型在机器翻译领域取得了非常显著的成果。因为对话的生成也可以看成是从输入到回复的一种翻译,所以将其应用到对话系统上也是一种非常有前景的方式。并且随着互联网的发展,网络上开始涌现出大量开源的对话数据集,这也使得以数据驱动和端到端的方式训练生成式对话系统成为可能。本文主要研究的是开放域生成式对话系统。不同于特定域的对话系统,其主要目的是和用户闲聊,放松心情。生成式对话系统的特别之处在于可以生成语料库中没有出现的句子,所以可以比基于检索和模板的对话系统生成更多有意思的内容。但是传统使用的序列到序列模型存在着一些问题:(1)由于在解码时使用贪心解码的策略选择每个时刻概率最大的单词,使得模型倾向于生成非常通用和保守的回复,大大降低了生成回复的多样性;(2)由于目前预训练的词向量和训练的数据集并未包含更多的情感信息,所以生成的句子往往缺乏情感。最近条件变分自编码器模型在生成回复的多样性上取得了突破性的进展,所以基于条件变分自编码器模型并且针对以上问题,本文的主要工作如下:(1)尝试了一种将情感字典与条件变分自编码器模型相结合的开放域对话生成模型Affect-CVAE。模型使用了人为标注的情感字典作为单词的情感嵌入,在训练数据中引入了情感的先验知识。另一方面,模型通过重构回复中单词情感使得隐变量捕获回复的情感分布,生成情感更加自然,语义更加多样的句子。除此之外,模型从生成回复的语法,语义和情感三个方面制定了重排序的规则,在保留条件变分自编码器模型生成回复多样性的同时在内容和情感上也保持合适。(2)尝试了一种将单词级别情感和句子级别情感与变分分层循环编码解码器模型结合,并使用了强化学习技术的开放域多轮对话生成模型RL-VHRED。通过针对回复的情感多样性,语义多样性和上下文连贯性制定奖励,引导回复的生成。另外,还在多轮对话中验证了Affect-CVAE模型中重排序机制的有效性。总体来说,本文主要研究了单轮和多轮开放域生成式对话系统中提升回复情感和多样性方法。通过在真实数据集上的对比试验证明了改进得到的Affect-CVAE模型和RL-VHRED模型在提升生成回复情感和多样性上的有效性。
其他文献
在当前大数据时代,大量的医学影像没有得到有效利用。而在医疗、教育以及科研等领域却亟需大量经过标注的数据,因此需要一种技术对医学影像进行标注。然而使用手动标注的方法耗时耗力且需要医学专业人士才能完成,人工智能技术的兴起为医学影像的自动标注带来了福音。传统的自动标注方法仅仅使用了图像单一模态的数据,与图像数据紧密相关的诊断报告却未得到使用。因此本文提出了一种利用跨模态方法进行医学影像自动标注的技术,重
随着医学诊疗技术的发展以及胚胎发育理论体系的完善,体外受精-胚胎移植技术在经历了四代的更迭后已然成为不孕不育等相关疾病的首选治疗方案。其中,胚胎植入前的形态学诊断是成功移植的关键,原核期胚胎特征作为诊断的首要依据更是有着严格的定义。本文通过计算机视觉技术实现胚胎特征识别算法,相较于传统识别方案,算法能够自动且有效地分割胚胎主体区域并在原核期胚胎首要特征识别中获得接近医师的精度水平。最终给用户提供一
近年来,随着计算机视觉领域技术的不断突破与创新,在图像信息利用越来越多元化的背景下,视频预测成为当下深度学习研究的一个热点方向。视频预测技术以给出的图像信息为基础,通过构建一个可以精准建模视频内容和动态变化的内部表征模型预测未来视频帧,并应用于机器人、自动驾驶汽车和无人机提前决策等多个场景。针对于当前大多数视频预测技术对于时间信息提取的不足,导致连续帧出现的动作伪影以及动作模糊的难点,本文基于现实
近来年,随着人工智能技术的落地应用,人们的学习和生活方式发生了极大的变化。在教育行业,自然语言理解、知识图谱和知识推理等技术更是对其产生了深远的影响,基于知识图谱的推理自然受到了越来越多的关注和研究。然而在推理过程中,需要考虑不同的策略。本文正是基于上述背景,研究和实现了图推理中的组合分支技术,并将其应用到了初等数学求解中,主要包括如下内容:1、研究和实现了组合分支技术中的分层策略。本文最终划分了
面对信息爆炸的时代,用于信息搜索的智能问答技术发展迅速。用户通过问答系统,从海量信息中检索出准确信息。传统问答算法利用浅层语义,获得简单问题的答案,但无法获得更深的语义层次,难以给出更加准确的信息。以知识图谱为基础的问答系统,结合知识图谱中的语义信息和知识结构,能够检索出更加准确的答案。但是,目前的研究多是在一个理想的状态下进行研究的,即用户所输入的问题,能够在知识图谱中通过推理全部得到答案。在实
随着人工智能的飞速发展,为专注于对计算机推理能力的挖掘,微软推出数学图表类数据集Figure QA,旨在用简单的图形图表组合让计算机完成数学推理任务。而对于计算机而言,要完成对图像信息的整合并结合文字信息进行推理,首先需要完成的就是对图片信息的提取,也就是对图片进行目标检测。因此本文的主要研究内容为图像问答过程中所涉及到的的目标检测过程。对于数学图表类图像而言,与主流目标检测模型中通常采用的真实场
得益于分布式、安全和可追溯的特点,区块链技术自诞生以来就被广泛应用于各类应用场景。但是,与已建立的解决方案(例如分布式数据库系统)相比,区块链系统的吞吐率仍不理想,已经成为阻碍区块链发展的重要挑战之一。作为一种有准入机制的区块链,联盟链相比于公链增加了可监管特性,在交易处理和交易确认延迟方面相较于公链有着显著提升。但当前联盟链使用的共识算法只支持单节点串行出块,如联盟链代表Hyperledger
随着社会进入信息时代,网络上巨大的信息量使得如今用户想要快速检索有效信息变得十分困难。自动文本摘要技术的出现解决了上述问题,但是传统的自动文本摘要技术受限于各种条件,导致难以生成准确率高、语句通顺并且简洁的好摘要。本文以上述问题为着手点,主要研究如何提升中文自动文本摘要的质量,具体研究内容如下:1.提出了基于语义理解的生成式文本摘要模型。传统中文文本摘要模型难以利用原始文本实体间的关联,导致生成的
科技的高速变革不仅使大众的生活更加便利,而且也使人们的业余生活更加丰富多彩。现在人们获取影视节目的主要方式已经从电机频道转变成了互联网平台,人们的选择越来越多,用来观看节目的时间也更加灵活化,大家正在享受信息发展带来的便利。信息技术的发展也带来了信息过载的问题,人们面对互联网上海量的影视节目,往往无法很快选择出自己喜欢的内容。个性化推荐系统就是在这种背景下出现的,它的出现在一定程度上解决信息过载问
随着嵌入式领域的不断发展以及处理器体系架构的持续优化,多核处理器因其高性能、低功耗和低成本等优势得到了广泛的应用。同时,在万物互联的时代,嵌入式设备面临着越来越多的风险和挑战,这不仅需要增强设备的可靠度和安全性,还需要具备高扩展能力。而微内核架构因其本身的架构特点,具备代码量小、可扩展性高、安全可靠等优势,十分适合应用在嵌入式设备中。因此,本文基于团队自研的mginkgo微内核,设计并实现一个面向