基于深度学习的情感对话生成关键技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:liwj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
研究基于情感的对话生成模型对于提升人机对话过程中的用户体验具有重要意义。目前,已有研究主要依赖在序列到序列的生成模型中注入情感向量的方式构建基础框架,并衍生出了多种不同情感注入方式的变种模型,例如在模型输入层、输出层引入情感嵌入以注入情感,或者直接引入外部情感词典以鼓励解码过程中更关注情感词等。上述研究解决的重点是给定某一类的情感,让模型根据用户输入语句去生成带有这种情感的回复,其本质上解决了对话过程中的情感生成可控性。但是,上述方法存在的明显缺陷,即模型并没有考虑对方言语当中的情感而自动做出情绪选择,不具备情绪感知和预测能力,因此在实际应用时需要依赖人工判断并指定情感,增加了线上自动化部署的难度。本文针对现有模型存在问题,重点研究如何更好的建模开放领域下的单轮情感对话,因此本文主要工作内容如下:1、本文提出了一种基于自注意力情感对话生成模型(EACM),该模型能够自动感知情感、管理情感和表达情感。具体而言,该算法模型首先采用自注意力机制、情感和语义词嵌入、融合网络等处理用户输入语句并抽取有效的语义和情感信息,然后利用预测网络进行情感分布进行估计,最后利用情感偏差注意力机制生成带有特定情感的回复。2、本文提出了一种基于先后验分布估计的情感对话生成模型(TG-EACM),该模型引入先后验网络获取历史数据当中的经验信息,利用后验分布蕴含的丰富情感交互模式信息指导先验网络的学习,并设计KL散度为辅助目标函数用于多任务学习,提升情感预测准确率,实现更加准确的对话情感交互建模。3、本文通过基线对比实验、模块消融实验证明本文提出的模型能够在BLEU-n、Distinct-n等自动指标和情感和语义两方面的评测指标上超越现有模型,同时本问提出的多种机制在增加情感预测准确率、降低先后验网络分布差异性、增加模型收敛速率等方面十分有效。通过对模型实际产生的情感回复进行样例分析,能够直观的看到本文提出的模型能够有效的感知用户情绪并产生带有恰当情感的回复,在用户体验和闲聊舒适度上超越现有对话模型。
其他文献
随着人们的生活方式越加丰富,大规模的用户也产生了更大规模的应用数据。为了解决信息过载这一问题,推荐引擎也应运而生。但是就目前来看,大多数推荐算法都是直接将兴趣行为直接视为兴趣结果,而潜在的兴趣很难通过显性行为得到充分体现。大多数方法忽略了挖掘行为背后真正的用户兴趣,并且用户兴趣是不断变化的,获取兴趣之间的的动态关系对兴趣的表示非常重要。因此需要进一步的研究来解决这些问题。为了更好地捕捉用户兴趣之间
学位
模型压缩是当前深度学习技术从实验到实际落地部署的一个重要环节,涉及到的主要方法包括轻量化模型设计、低秩分解、剪枝、量化和知识蒸馏等,随着深度学习的广泛应用,模型压缩技术逐渐成为该领域的研究热点之一。本文重点对面向图像数据的目标检测问题进行模型压缩研究,一方面,图像信息的维度较高,在进行网络推理时需要巨大的参数量和浮点运算量;另一方面,相比于图像分类问题,目标检测的应用范围更加广泛,问题更加复杂,因
学位
飞秒激光诱导产生纳米光栅一直是飞秒激光精密加工领域的研究重点,因为其光学双折射现象、周期性、热稳定性、延迟值和光轴方向可控性、可重复擦写性等不同的性质,在不同的研究领域都受到了广泛的关注。其中关于可重复擦写性的研究一直是一个热点。本文结合之前的研究者对纳米光栅可重复擦写性的研究,提出了从三个方向观察纳米光栅重复擦写的过程,通过改变不同参数的实验探索了纳米光栅慢轴方向改写以及控制延迟值的方法,寻求其
学位
近些年物联网快速发展,物联网中的连接节点设备数量也呈现指数增长趋势,与此同时设备固件漏洞安全问题也呈现出逐年增加的趋势。在固件源代码开发过程中,为了加快开发效率,开发者或多或少会引入对于第三方开源代码的克隆。而这些不经意间的代码克隆,往往可能将安全漏洞引入到固件源代码中。本文将源代码相似性检测引入到固件源代码漏洞检测中,以发现由于代码克隆而引入到固件源码中的漏洞。本文设计实现的固件源代码漏洞检测系
学位
随着互联网技术的发展和人工智能技术的演进,基于搜索引擎的问答技术难以满足人们日益增长的需要。人们需要在繁杂冗长的搜索结果中寻找自己需要的信息。在“新型冠状病毒”疫情的影响下,怎样准确简单地了解病情信息就成为了亟待解决的课题。本文实现的临床医学智能问答系统可以理解用户提问,精确识别用户意图,在知识库中寻找答案,将答案准确简洁地返回给用户。本文通过爬取互联网中的医学知识网页资源,并基于规则的方式对提取
学位
为了提升数据库的性能,对数据进行分片操作成为了非常必要的手段。在进行分片操作时,需要注意遵守分片的完整性、不相交性和可重构性原则。分片方式主要有三种,水平分片、垂直分片和混合分片,每种分片方式都有各自适合的场景,这里主要讨论垂直分片。垂直分片在实际应用中,往往可以用来划分出热点数据,从而提升数据库性能,降低数据访问成本。但是目前的垂直分片往往没有考虑到数据之间的语义关系,若是在分片的时候考虑到数据
学位
科学研究和工程实践中广泛存在着具有多约束多变量的多目标优化问题。基于进化理论的多目标进化算法不需要问题的先验信息,具有良好的并行性和鲁棒性,在求解多目标优化问题上表现优异。子代解的产生是多目标进化算法的重要组成部分,显著影响算法的性能。因此,研究多目标进化算法子代解的产生方法具有重要意义。在多目标进化算法中,子代解通过父代选择和个体重组两个环节产生。改进多目标进化算法随机选择父代的方式,有助于避免
学位
移动互联网发展至今,新闻资讯产生速度愈加快速。为帮助用户抵挡信息过载,互联网新闻提供商研发各种成熟的新闻推荐算法,推送用户感兴趣的资讯。然而几乎所有的算法都需要以牺牲用户隐私为代价去实现精准的消息推送。随着各国政府和民众对隐私保护的愈发重视,各项法规开始限制互联网服务提供商搜集、存储和交易用户的隐私信息。当前的新闻推荐系统的隐私保护方法主要有三类:匿名方法、随机数据扰动和加密方法。匿名方法主要使用
学位
信用支付业务已经越来越重要的成为我国银行业和金融业的重要业务,随着社会现代化的发展,具有越来越多样的载体形式和产品形态,如何高效精准的进行银行用户信用违约预测成为了极其重要的问题。针对信用支付业务场景,本文基于机器学习方法设计了银行用户信用违约预测方法。研究了多维度用户违约特征构建方法来解决银行用户信用违约预测特征构建不充分问题;建立了基于分位点的归一化方法来解决银行信用违约数据分布不均衡问题;建
学位
目前网络已经与工业生产紧密联合,在数据环境中利用无线网络通信可以极大降低信息资源交互成本。在数控环境中因为条件限制使用了一些脆弱标准化协议,使网络通信安全问题更加严重。数控环境对于通信实时性要求高,使用协议也是工控网络专用协议,传统的审计系统不能满足其安全审计的要求,因此需要一个高效通信审计系统来确保数控网络系统的安全。论文的研究重点在于实现一个效率快,准确性高同时易拓展的无线数控网络通信审计系统
学位