基于混合神经网络的模块化对话生成模型的研究与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:wangdianxitong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对话生成一直是机器学习以及自然语言处理领域的热点研究项目,是实现机器智能化的核心技术之一。已有工作在基于规则设定、信息检索和数据统计的对话模型方面研究较多,但是这些方法在技术上面临很多难以突破的瓶颈,如特定领域的知识难以抽取、规则难以完备以及受制于特定领域的专业特性等。目前,已有工作将这些模型与深度学习算法进行结合[9][11]。而基于神经网络的生成式闲聊对话模型仍然较少,而相比于传统的生成式对话模型,基于神经网络的生成模型可以省去大量的人工参与。现有的对话生成模型存在诸多不足与缺陷。在性能上,模型采用词汇表作为类别,模型的运算量随着词汇量变大而急剧增加;使用随机采样减少词汇量的做法,又导致学习到目标效果的训练步数增加。目前用于对话生成的神经网络模型通常形成一个整体,其结构复杂、参数众多,训练速度慢,这些因素导致更改模型的代价巨大。在效果上,现有的基于生成的对话模型倾向于输出常用词句,生成的语句缺乏多样性。此外,生成的语句往往不通顺或语意不明,并且经常具有明显的词法句法错误,与基于规则等传统模型的效果还有距离。为了解决对话生成模型中由于自然语言特性及模型自身设计导致的各种问题,以及为了提高生成的语句效果,本文基于将对话生成任务模块化的思想以及神经网络技术,研究了用以变量共享的数据预处理过程、面向对话生成的词汇推荐方法和基于推荐采样的综合词汇序列生成方法,在此基础上,设计与实现了一种基于混合神经网络的模块化对话生成模型。本文的主要工作与贡献点包括:(1)针对神经网络重复训练可共享变量的问题,研究并实现了一种用以变量共享的数据预处理过程,实现了神经网络模型的部分变量的共享。避免了重复训练,减少了网络模型在训练时的数据量,加快了训练速度,数据的复用在一定程度上减少了资源浪费。(2)针对对话生成模型的训练过程中词汇量过大导致的性能问题,研究实现了一种面向对话生成的词汇推荐方法,有效地限定了词汇范围,提高了最终生成语句的准确度,并提供了更为有效的词汇采样依据。(3)在词汇推荐方法的基础上,研究实现了一种基于推荐采样的综合词汇序列生成方法,使用词汇推荐作为采样,替代传统的随机采样,不仅将训练生成序列模块的复杂度从与词汇表长度相关降低到与一个常数相关,同时使得模型训练到相同效果的耗时变短。(4)通过综合上述技术方法,设计实现了一种基于混合神经网络的模块化对话生成模型。实验表明,本文研究实现的模块化对话生成模型,能使生成的对话不会出现大量相同或常用语句,保证了生成语句的多样性,也减少了语句不通以及语义不明的回答,提升了生成的对话的质量。同时,模块化的实现方式,减少了整体模型重新训练的情况,降低了修改参数、调整结构以及更换数据集的代价。
其他文献
Belousov-Zhabotinskii反应是一种非常典型的化学振荡反应,是以两个俄罗斯:科学家的名字命名的,最早化学家Belousov发现了该反应,在反应过程中可以发现反应物浓度会呈现周期
图谱理论是图论研究的一个热点,它在多个领域发挥着重要作用,如生物学、化学和计算机科学等领域.谱极值问题主要研究的是关于图的矩阵的特征值,及其所对应的极图的相关问题.
水是生物体最重要的组成部分,被誉为生命之源。在自然条件下,几乎所有的固体表面都蒙上了一层薄薄的水雾。水固界面无处不在的特性表明它和我们的日常生活以及许多科技现象息
油炸食品因其香酥的口感在我国饮食文化里一直占据着一席之地。鸡肉营养丰富,味道鲜美,是主要食用肉类之一。炸鸡排作为一种鸡肉料理产品,口味多变,食用便捷,已成为当代年轻
超高效液相色谱-质谱联用(UHPLC-MS/MS)技术广泛应用于食品安全、医药检测分析、环境分析、生命科学以及石油化工等各个领域。该技术既具有超高效液相色谱的高分离能力、分析
拟线性Schr(?)dinger方程源自等离子物理,是非线性分析领域近年来受到广泛关注的问题.本文主要利用变分方法了研究一类带有Sobolev临界指数的拟线性Schr(?)dinger方程解的存
一、引言结构分系统是卫星的主要保障分系统,是卫星平台的基础。根据总体任务书的要求.返回式科学试验卫星结构分系统应具备以下功能: (1)为总体和其他分系统提供安装空间和
氢能具有环境友好、热值高等优点,是最有希望解决环境问题和能源危机的新型能源之一。在室温条件下,氨硼烷(Ammonia Borane,AB)水解反应可以在催化剂催化下完成氢气的快速释放
大数据时代的来临使得语料库研究同时面临机遇和挑战,一方面数据量的增大使得基于语料库的统计机器翻译的翻译质量不断得到提升,另外一方面传统机器翻译方法面对大规模语料库
“全面改薄”是打赢教育脱贫攻坚战、全面建成小康社会的奠基工程,是促进教育公平、推进城乡一体化建设的民生工程,是提升学校教育整体水平、基本实现教育现代化的关键工程。在“全面改薄”的收官之际,选择贫困县学校体育资源现状进行调查,以贫困县义务教育阶段学校体育发展的现实困境为切入点,运用文献资料法、问卷调查法和访谈法等研究方法,以临汾市贫困县—吉县、大宁县、隰县、永和县、汾西县为调查范围,从政策实施、教师