基于深度神经网络的对联生成系统的研究与实现

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:nullg08
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对联是中华传统文化中一种独特的艺术形式,其要求上下联之间长度结构相同、语义相似、对仗工整和平仄和谐,体现了中华语言的美感,在众多节日场合承担了表达情绪、烘托气氛的重要作用,备受人们喜爱。但是,正是由于对联严格的格式和内容要求,创作对联对普通人来说是一项较为困难的任务。因此,使用计算机进行对联的自动生成让大众都有创作对联的机会。但是,由于自然语言的含义和语境十分复杂,即使十分简单的语言,电脑也无法准确理解,因此,自动生成对联对计算机来说也是一项富有挑战性的工作。针对已有的对联生成方案中没有考虑对联词语的词性信息和未登录词及低频词处理等问题,论文基于深度神经网络的相关技术,对基于注意力机制搭建的Transformer模型进行了改进,并基于改进的模型实现了中文对联自动生成系统。论文使用机器翻译中流行的评价标准BLEU、困惑度(Perplexity)和人工评价三种方式对本文提出改进的对联生成模型进行评价,BLEU评分越高、困惑度(Perplexity)评分越低,说明模型的性能越好。主要贡献如下:一、将基于Transformer的对联生成模型、已有的研究工作中使用的基于编码-解码框架的对联生成模型及其改进形式,结合注意力机制的编码-解码框架的对联生成模型进行实验比较,实验结果证实了注意力机制在对联生成任务中的有效性。将基于Transformer的模型作为本文的基线模型,与本文提出的三种改进策略进行比较。二、为了充分利用中文的语言学知识,将对联的词性信息引入模型。对联要求对仗工整,其上下联对应位置的词语的词性一般是相同的。已有的研究工作没有显式地考虑这个约束条件。本文使用了一种融合词性特征信息的词向量训练方法,将进行了词性标注后的语料和原语料分开进行词向量训练,再将得到的词性向量和词向量以一定的方式融合,使用融合后的词向量进行神经网络的训练。融合词性信息特征后的对联生成模型和基准模型相比,在测试集上的BLEU评分提高了0.059,困惑度降低了2.51,模型的性能获得了一定的提升;三、为了减轻模型计算过程中词典的未登录词和低频词对模型造成的影响,提出了一种低频词处理方法。针对模型训练及预测过程中遇到的未登录词及低频词问题,论文基于词向量的相似度计算方法,使用与未登录词和低频词相似度较高的高频词对其进行替换,设计了一种加入未登录词和低频词处理的对联生成模型。改进后的模型和基准模型相比,目标词典的规模减小了约16%,系统在测试集上的BLEU评分提高了0.004;四、为了进一步改善系统生成下联的质量,论文借鉴了诗人创作诗歌时反复修改的创作方式,提出了一种对联生成的润色机制。将解码器端生成的下联再经过一轮注意力计算,其中包括自注意力计算和上下文注意力计算两部分。实验证明,加入润色机制的模型和基准的Transformer模型相比,在测试集上的BLEU评分提高了0.038,困惑度评分降低了3.6,证实了润色机制对模型有积极作用。在将三种改进策略都应用到对联生成模型中,改进后的模型和基准Transformer模型相比。在测试集上的BLEU评分提升了0.066,困惑度评分降低了5.33,实验结果证实了本实验提出的方法的有效性。
其他文献
目的:探讨心理护理在子宫肌瘤患者围术期护理中的临床价值。方法:将120例子宫肌瘤患者随机分为观察组(60例)和对照组(60例),对照组给予常规围术期护理,观察组则在常规围术期护理基础
自古以来温州地区民众就有“好鬼尚祀”的风俗,道教文化信仰氛围浓厚,于是催生出了为广大下层俗众服务的神职人员——乡村道士。而处于温州永嘉县的石头岸村就是专门的道士
目的:探讨米非司酮配伍米索前列醇行药物流产的护理效果。方法:560例药物流产患者随机分为对照组和干预组,对照组实施常规护理,干预组在对照组基础上实施护理干预,比较两组患者的
初、高中物理课程改革是新课改中非常重要的一部分,物理学科是中学主要学科之一,在近年来中学课程改革的发展中,初、高中物理教学衔接问题也成为了新课改的重要课题。慢慢随
最近,在微信朋友圈里热传着一组图,名为“那些年老师们讲过的话,看到第几句你哭了?”这些图上配有我们似曾相识的话。
随着我国城镇化进程加快和经济的不断发展,我国对社会公共基础设施的投入逐渐扩大,由此给政府的财政支出方面带来巨大压力,而新《预算法》进一步限制了地方政府的融资渠道,迫
目的:探讨侵袭性牙周炎心理护理措施及效果.方法:将2010年12月至2011年12月我科收治的侵袭性牙周炎24例随机分为观察组(常规治疗+心理护理干预)12例和对照组12例(常规治疗),对两组的