任务型对话系统关键技术研究与模型实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:dlj0425jack
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
端到端任务型对话系统和基于强化学习的任务型对话系统作为任务型对话系统两个重要研究方向被越来越多的学者所关注。典型的任务型对话系统包括多个独立模块,结构复杂,协调困难,其中端到端任务型对话系统采用端到端神经网络使任务型对话系统一体化,但目前的研究仍然需要额外的对话状态跟踪器,未能形成完全训练一体化的端到端架构,且由于过于依赖递归神经网络顺序结构,导致了时间依赖和序列依赖,制约了任务型对话系统的训练速度。基于强化学习的任务型对话系统采用强化学习的方式使任务型对话系统的优化方向始终与用户需求的优化指标保持一致,但目前基于强化学习的任务型对话系统鲁棒性差,带给用户不佳的使用体验,并且由于强化学习训练方式不直接依赖于自然语言,而是依赖于自然语言之上的语义,因此需要具有良好语义解析能力的自然语言理解模块。针对上述任务型对话系统的两种研究方向分别存在的问题,本论文提出了基于卷积神经网络和注意力机制的全并行端到端的任务型对话系统以构建能训练一体化、训练快速的任务型对话系统;提出了结合自然语言理解的深度强化学习任务型对话系统以构建能理解自然语言语义并且更加强大和鲁棒的任务型对话系统。具体包括如下三点工作:(1)提出了一种基于卷积神经网络和注意力机制的全并行端到端的任务型对话系统。该任务型对话框架针对任务型对话的多轮能力设计一种基于拷贝网络的流式上下文建模方法以提高多轮对话建模能力,同时针对编解码器结构递归神经网络导致的序列依赖和时间依赖问题设计一种完全基于卷积神经网络和注意力机制的全并行编解码器对话框架以提高模型训练速度,并且基于Beam Search和Policy Gradient优化对话生成结果。本论文在任务型多轮对话公开数据集CamRest676和KVRET上进行了实验论证,结果显示本论文方案相较现有方案在任务型对话的多个指标达到最优效果,尤其在训练速度上有显著提升;(2)提出了一种结合自然语言理解的深度强化学习任务型对话系统。该任务型对话系统框架针对目前自然语言理解没有完全利用意图识别和槽值提取两个子任务的相关交互作用的问题提出了一种基于意图槽值双向交互的联合建模自然语言理解模型以加强自然语言理解,同时针对当前基于强化学习的任务型对话系统不够鲁棒、任务完成率不高的问题,采用了一种Double DQN的深度强化学习的任务型对话模型。本论文在自然语言理解公开数据集ATIS和Snips以及公共电影票预订数据集Movie-ticket booking上进行了实验,结果显示本论文模型在自然语言理解指标上达到最优效果,在订电影票的任务完成率上有较好效果;(3)在以上任务型对话系统的两种研究的基础上,该论文采用Django网站构建技术完成了端到端任务型对话系统及基于强化学习的任务型对话系统演示系统的构建,当有用户通过前端界面输入相应的自然语言对话文本,后台自动调用相应对话模块训练好的模型得到相应输出,返回端到端任务型对话结果、自然语言理解结果、基于强化学习的任务型对话结果展示给用户,并进行多轮对话交互。
其他文献
互联网信用贷款业务与银行等金融机构开展的传统线下信用贷款业务有着较大的区别,互联网信用贷款业务一般基于移动端或者网页端进行申请,申请人只需要提供简单的个人资料,无需提供抵押或担保物,金融机构无法对申请人进行面签面审,只能通过申请人提交的资料、人行征信报告以及三方数据对申请人的违约风险进行评估。由于我国银行等金融机构对于互联网技术以及数据应用存在较大的差异,部分大型商业银行、持牌消费金融公司能够通过
当前世界正发生着人类有史以来最为迅速、广泛以及深刻的变化,计算机网络信息技术飞速发展,以信息化和信息产业发展水平为主要特征的综合国力竞争日趋激烈,数字经济正在崛起。数字经济背景下,数据是重要的生产要素,而大数据作为数量大、类型多、处理速度快、使用价值高的数据集合,促进了当代商业模式不断发生创新与变革。但是大数据的快速发展带来的不只有经济的迅猛增长,还有垄断行为的出现。大数据领域的垄断行为包括数字化
随着我国经济向高质量发展转型,我国银行业所面貌和金融环境均发生了较大变化,一方面,利率市场化进程的加快,互联网金融的兴起,使传统银行业的利差收窄;另一方面,金融混业经营程度加深,结构复杂的创新金融产品涌现,导致风险事件和案件时有发生,监管部门对银行业的监管也日趋严厉。合规是商业银行的首要前提和目标,在新的形势下,商业银行为实现自身稳健发展,需要更为科学和完善的合规管理和风险控制体系。本文以华融湘江
江苏徐州—安徽宿州地区地处苏、皖、鲁、豫四省交界处该区寒武纪早期地层出露良好,剖面完整,化石丰富,是研究我国华北类型寒武纪早期地层及所含化石较理想的地区之一。本文以徐州大北望剖面、宿州曹村剖面、宿州夹沟剖面等为主要研究对象,通过野外实测剖面、标本采集、化石处理与鉴定、资料整理及综合分析等,主要取得以下成果。根据地层的岩性及岩性组合特征,开展岩石地层研究。修订了岩石地层单位名称,厘定了研究区岩石地层
随着现代通信技术的发展,智慧城市的概念也越发深刻。作为智慧城市的重要组成部分,智能交通系统(Intelligent Traffic System,ITS)也对车路的协同起到了决定性的作用。在ITS发展的初期,车辆与车辆只能通过路边单元(RUS)进行间接通信,无法保证信息传输的及时性,导致交通事故频发。目前来说,长程演进技术(Long term evolution)在车载无线接入环境(WAVE)的应
海滩岩是古海平面高程的重要标志。海滩岩在北部湾涠洲岛广泛发育,总长度达5 km,宽约15-20 m,但迄今大部分海滩岩或被植被覆盖,或被当地居民开采。本论文选择其中保存相对较好的北港、公山背和横岭三处海滩岩为研究对象,通过野外现场观察海滩岩的沉积和物质组成特征,GPS测量海滩岩的地理位置及其相对高程,并采集样品;室内将采集的样品制成了薄片,通过光学显微镜及电子探针分析了海滩岩胶结物成分及特征,通过
经济的飞速发展孕育了金融市场的繁荣,同时也导致证券市场中内幕交易行为屡禁不止,其行为的影响范围和涉众人数越来越广,因此在立法上必须予以严惩。我国在2006年《证券法》中首次对内幕交易进行了相应规定,初步完成了内幕交易制度的构建,但是在民事责任的承担上,立法仅说明行为人应当对投资者的损失承担赔偿责任,对于赔偿的内容和方式等均未规定。直至2015年《证券法(修订草案)》一审稿中首次规定了内幕交易惩罚性
近年来,由于过度开矿和金属冶炼业快速发展对环境造成了严重的重金属污染,重金属离子具有极强的生物毒性,会对人的肝脏、肾脏和骨骼等造成伤害。本文以重金属离子的检测及治理为出发点,从水稻植株中分离出具有生物修复潜力的菌株,并构建了一种新型重金属检测生物传感系统用于解决重金属污染问题。重金属污染生物修复具有成本低、绿色环保的优点。本研究从水稻根系成功分离出两株内生放线菌1025-4及1112-10,发现菌
新时代新时期我国大多数工程技术服务企业已经意识到企业文化的重要性,实践中也在不断采取一些措施建设企业文化。作为我国支柱产业的建筑服务业,近年来在发展过程中,不断赋予“企业文化”新的使命、意义与概念,愈发重视企业文化的建设与维护。本文的研究对象是某市建业建设工程质量检测有限公司(简称HDJY质检公司,下同),其通过十余年的运营与管理期间也很重视企业文化建设方面的投入与建设,已经形成其独特的建筑检测行
在现代化企业集团化经营的趋势下,多元化经营的趋势也进一步呈现,企业竞争加剧导致现代企业的集团化经营的组织形式诞生,对于多元化经营的企业来说,需要重视人力资源,多元化发展不仅需要大量的高层管理人员和技术人才,也需要完善的人力资源体系发挥多元化经营的最大价值。因此人力资源管控对企业集团的整体管控就显得尤为重要,如何在集团化组织中强化集团核心竞争力,加强各个产业和分子公司的战略系统关系,是学术界和实践界