【摘 要】
：
文本生成的主要目的是生成流利的、可读的和逻辑性强的文本。目前文本生成的研究大多数是基于序列到序列的模型（也叫编码器-解码器模型）。但这一类的模型往往忽略了隐变量的重要性,即无法观测的变量对生成文本的影响,比如语义和主题。同时,目前的研究基本集中于短文本的生成（往往都是一两句话）,长文本生成的相关研究相对较少,并且长文本句子与句子之间存在着联系,如何学习句子之间的关系也是难点。为了进一步生成质量更好
论文部分内容阅读
文本生成的主要目的是生成流利的、可读的和逻辑性强的文本。目前文本生成的研究大多数是基于序列到序列的模型（也叫编码器-解码器模型）。但这一类的模型往往忽略了隐变量的重要性,即无法观测的变量对生成文本的影响,比如语义和主题。同时,目前的研究基本集中于短文本的生成（往往都是一两句话）,长文本生成的相关研究相对较少,并且长文本句子与句子之间存在着联系,如何学习句子之间的关系也是难点。为了进一步生成质量更好的长文本,本文先后进行了两步研究,主要如下:（1）本文首先提出了VCG（Variational autoencoder Combined GPT-2）模型,该模型主要使用分层门控循环网络（Gated Recurrent Unit,GRU）作为编码器,GRU与GPT-2结合作为解码器来生成长文本。该模型主要贡献在于引入了计划向量,该计划向量使解码器不仅可以关注到词与词之间的注意力分数,还可以关注到句子与句子之间的关系,从而可以让解码器有计划地生成每一个句子。实验结果表明了VCG模型生成文本的质量有所提高,相应的评价指标也有了提升,其中困惑度（Perlexity,PPL）下降了8%。（2）然而,VCG模型仍然有些不足。为了进一步生成质量更好的长文本,通过思考人类的写作过程,即文本的大纲决定句子的写作,每个句子之间存在着依赖关系,我们研发了一个新型的隐变量生成式模型,即HT-HVAE模型（Hierarchical Transformer-based VAE combined Hidden Markov）。它与VCG模型的区别与联系在于:(1.HT-HVAE包含一个全局隐变量和多个局部隐变量,而VCG模型只有一个隐变量;(2.HT-HVAE模型的编码器部分使用分层Transformer网络,不同于VCG模型的分层GRU网络;(3.但是两者的解码器部分均采用GRU和GPT-2结合,且都是基于变分自编码器研发的模型。HT-HVAE的主要贡献在于:(1.该模型将隐马尔可夫模型和变分自编码器结合起来,从而学习到多个分层隐变量以及它们之间的关系。实验结果证明HT-HVAE生成长文本的质量更高,文本评价指标也得到了提升,其中PPL比当前同类型的最优模型下降了11%;(2.当变分自编码器用于文本生成时,会出现后验崩塌问题（即KL散度在训练的时候变为0,此时（|）=（））,这时说明隐变量与数据无关。HT-HVAE的多层隐变量结构解决了这个问题,实验结果发现我们的模型的KL散度比当前同类型的最优模型提升了23%。综上所述,本文主要基于变分自编码器先后研发了两个隐变量生成式模型,即VCG模型和HT-HVAE模型,其中HT-HVAE模型在VCG模型的基础上更进一步,从而生成质量更好的长文本,实验结果也比同类模型效果好。
其他文献
以往道路改造大多采用路面结构挖除重建、加铺等手段，易造成环境的污染及资金、资源的浪费。道路养护维修设计作为项目实施的依据，应积极推广应用四新技术，降低施工成本，缩短施工工期，提高项目质量,减少施工废弃料对环境的污染，提高项目的科技含量，响应国家“建设节约型社会、可持续性发展”的号召。
当前的区块链交易本身存在高延迟、高手续费等问题,这些问题与实际支付场景直接冲突。针对以上问题的现有研究包括状态通道、支付中心等方案,将链上支付转移至链下从而缩短支付时延。但是一方面,现有研究未充分考虑现实支付场景,不能有效降低交易手续费。另一方面,现有研究引入了大量的额外资金,提高了使用者的资金门槛。因此,本文提出了一种基于商户联盟的区块链快速交易架构方案。本文设计了两种适用于支付场景的数据存储结
随着语音助手、问答社区、智能客服等应用的兴起,人们更愿意使用方便快捷的互联网检索自己感兴趣的内容。然而,对于同一种问题,每个人的表述方式却不尽相同。如何正确理解用户意图,从数以百万计的问题库中返回最相似的问题是工业界以及学术界研究的重点。传统的问句匹配模型基于人工构造特征计算文本之间的相似度。然而,人工构造的特征只考虑了文本的浅层次信息,也不具备可迁移能力。现有的深度学习匹配模型虽然能够挖掘文本的
近年来城市河道面临雨天反复污染问题，泵站雨天溢流是影响城市河流水质稳定达标的重要原因。结合河道护坡地形，将潜流人工湿地构造为护坡湿地，研究不同运行工况和进出水构造条件下湿地对污染物的去除效果并分析去除机理。结果表明，护坡湿地在垂直流工况下，进水管水平长度为3.6 m（占污水处理区水平长度的90%）,出水管高度为0.65 m（占污水处理区高度的81.25%）为最优进出水构造，在该进出水构造下湿地对C
背景:肝脏是人体内的重要器官,具有合成蛋白、新陈代谢、药物解毒等功能。肝脏疾病的高发病率在全球范围内造成了严重的公共卫生问题,因此迫切需要建立高度仿生的人体肝脏模型,用于肝脏生理、病理机制研究和治疗方法的开发。药源性肝损伤是常见的肝损伤原因之一,对乙酰氨基酚作为孕期常用的镇痛药,其代谢产物会穿过胎盘对胎儿肝细胞造成损伤。由于伦理和安全考虑,临床试验很少研究药物在妊娠期对胎儿的影响。构建与人类胎儿相
小学体育课程的学习可以使学生提高运动意识,促进学生身体素质的提升。随着新课改的推进,在体育教学中只有教师改变教学的观念,根据学生的身体特点和兴趣,创新教学的方式,为学生打造出有助于身心健康发展的课程,促进体育教学的改革和发展。基于此,对"双减"背景下小学体育高效课堂教学进行研究,以供参考。
数据在现代化应急指挥、防灾减灾过程中发挥着至关重要的作用。结合突发事件应急管理中受灾人口核查对相关数据即时性、高效性等客观需求，论述了手机信令数据的时空大数据特性，并阐述了针对原始信令数据的预处理、综合聚类等基本处理手段，辅助管理部门进行灾情预警、监测和评估，并间接估算灾区受灾人口，对进一步提升我国重大灾害的应急处置能力具有借鉴意义。
位置服务是当代生活必不可少的一个环节。当前,GPS、GLONASS、Galileo以及我国的北斗等全球卫星导航系统,在室外定位的场景下,可以提供较高精度的定位服务,但是在室内环境下,相应定位技术依然不够成熟,因此室内定位技术近些年来受到持续的关注。其中,指纹定位方法以其方便、低成本等特性成为室内定位研究的热点之一,该方法的定位效果依赖于构建的指纹库要实时地反映定位信号环境的变化,这就需要对室内定位
海洋模式是地球系统模式的具有代表性的一种,用于研究海洋环境演变的机理。目前海洋模式的研究愈发复杂,海洋模式方程的数据复杂度不断攀升,如何处理大规模的海洋模式算子任务成为关键问题。海洋模式算子任务可拆分性强,具有良好的并行性,适合在异构集群上使用多级并行计算来加快计算速度。本文面向海洋模式算子这一任务类型,利用算子任务的特性,提出异构集群上的负载均衡策略,主要分为以下三个方面:（1）研究海洋模式算子
细粒度情感分析是自然语言处理领域的一个重要任务,在商品评论分析、舆情分析、心理健康监测等方面有着广泛应用。但细粒度情感分析研究仍然面临同一方面词存在不同的情感极性、多个方面词与多个观点词相互配对,以及包含隐式方面词和观点词的情感四元组抽取等挑战。针对上述挑战,本文从以下方面展开研究:（1）针对同一方面词存在不同情感极性的问题,提出了一种基于文本片段搜索的方面情感三元组抽取模型。该模型首先通过BER