基于生成式对抗网络的类别文本生成

来源 :浙江财经大学 | 被引量 : 1次 | 上传用户:a370412412
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在自然语言处理的研究领域中,文本自动生成作为一项重要的前沿技术而受到高度重视,实现文本自动生成也被视为人工智能走向成熟的标志之一。文本生成技术是一类宽泛的深度学习技术,其衍生出一系列的通用模型,当将文本生成技术运用到现实任务上时,往往要求在通用模型上进行特定任务设计,以此来匹配不同任务的需求。本文主要研究文本生成技术在短文本生成任务中的应用,并选择任务中的类别维度进行深入研究。本文研究旨在希望可以控制文本生成的方向,生成指定类别的文本,使文本生成技术更便捷地应用到实际的具体问题之上。自动生成指定类别的文本对于文本生成而言是一项具有挑战性但应用价值高的任务。目前自动生成指定类别文本的研究已获得一定的进展,然而仍存在着局限性。首先,由于文本数据具有离散和复杂分布的特点,文本生成技术仍面临着曝光偏差、模式崩溃和缺乏可理解性等问题,导致文本生成质量不理想;在此之上增加指定文本生成类别的要求,使得文本生成目标多元化,难以找到合理的策略指导文本生成模型。其次,在缺乏相应类别数据集的场景下,文本生成模型无法充分训练学习目标数据域的分布,使得指定类别文本生成难以进行。综上所述,本文对当前指定类别文本生成中存在的两个问题展开研究:1.当前类别文本生成中无法平衡文本生成质量和文本生成类别的问题;2.生成模型在缺乏目标类别数据的情景下难以匹配目标数据分布,使得类别文本生成难以进行的问题。由于生成对抗网络在一般文本生成上已经显示出了良好的竞争力,所以本文将通过生成式对抗网络结构建立新的模型,解决上述问题。本文的主要研究工作如下:(1)针对当前类别文本生成中无法平衡文本生成质量和文本生成类别的问题,本研究提出一种基于多判别器的生成式对抗网络模型。与一般生成式对抗网络的单个判别器结构不同,本研究增加了判别器的数目,并设置了合理的策略梯度辅助判别器。模型包含两个判别器:质量判别器和类别判别器。质量判别器对生成的文本质量进行监督,类别判别器对生成的文本类别进行监督,结合质量判别器的判别结果与类别判别器的判别结果,通过有效的策略梯度机制反馈给生成器。反馈信号用于指导生成器生成,使得生成器保证生成文本质量的同时,还能控制文本生成的类别。本研究在亚马逊公开评论数据集和公开电影评论数据集上进行实验,并将现有的一些表现出色的文本生成模型作为基线模型进行比较,实验结果显示,本研究提出的模型具有良好的性能,在生成文本质量与生成文本类别维度均获得不错的得分。此外本研究还进行判别器消融实验,将所提出的模型与单个判别器模型进行比较,实验结果证明在本研究提出的模型中多判别器结构确实能提高生成器性能。(2)针对生成模型在缺乏类别数据的情况下难以匹配目标数据分布,类别文本生成难以进行的问题,本研究在多判别器的生成式对抗网络模型的基础上提出结合迁移学习的生成式对抗网络模型。将迁移学习运用于生成器学习中,利用迁移学习训练模型使其能够获得文本语义特征并且能够合理匹配目标数据分布,提高模型泛化能力并使得模型生成文本的质量与类别准确率得以提升;同时在判别器部分增加高速公路神经网络,加快判别器收敛,提高模型训练效率。本研究同样使用亚马逊公开评论数据集和电影公开评论数据集,设计类别文本数据缺乏场景,对本研究提出的模型及各基线模型进行生成实验,实验结果表明本研究提出的模型具有良好的性能;此外本研究对迁移学习和高速公路神经网络分别进行消融实验,实验结果显示,在缺乏类别数据的情况下,迁移学习能够有效提升生成文本的质量与生成类别准确率;高速公路神经网络能够有效提高模型训练效率。
其他文献
股份回购指的是在上市公司为了优化自身资本结构、对外释放积极信号等目的,利用自有资金或对外借款等方式,在证券市场上以一定的价格购回自身股票的行为。在发展早期,股份回购仅仅是一种发放股利的方式。但随着资本市场不断发展、相关的法律法规逐渐完善,股份回购逐渐演变成了一种资本运作与市值管理的重要手段。我国最早的股份回购发生于20世纪末,但受政策限制,当时股份回购并未得到广泛的实践与发展,近年来随着股份回购相
学位
近年来,数字金融在全球范围内蓬勃发展,并受到各国政府的高度重视。美国众议院、欧盟、韩国政府等都相继出台相关政策落实数字金融发展战略。中国政府也同样高度重视数字金融发展。党的十九届五中全会提出,要提高数字金融发展水平,使其有效支持实体经济。大力发展数字金融,打通供给侧融资堵点,有利于促进构建以国内大循环为主体的新发展格局,推动中国经济高质量发展。数字金融发展的经济后果是学者们研究的焦点,现有文献表明
学位
近年来,虽然各项政策法规的完善度日益提高,但财务舞弊事件仍时有发生。新时期的财务舞弊事件呈现出新特点,如系统性造假、境内外联合造假、隐蔽复杂性手段造假等,情节更严重、危害性更大。因此,财务舞弊的识别和防范具有重要现实意义。随着经济贸易的发展,与客户建立长期稳定合作关系越来越受到企业的重视,大客户在企业中的地位日益上升,而我国属于关系型社会,社会关系产生社会资本,为维护大客户这一社会资本,企业与客户
学位
绩效评价机制以及薪酬契约作为缓解企业代理问题的重要方式一直以来是国内外学者研究的重要内容,在完善公司内外部治理、提升企业绩效以及实现企业价值等各个方面具有重要作用。相对绩效评价是一种将经理人的绩效与市场或行业内其他经理人的平均绩效进行横向对比的特殊绩效评价机制。近年来,国务院国有资产监督管理委员会也逐步提高了相对绩效评价在业绩考核中的地位。与此同时,学者们对相对绩效评价的研究也逐渐深入,有学者研究
学位
“大众创业,万众创新”政策的出台为人们开展创业活动提供了良好的机遇和环境,许多创业者因夫妻共同治理具有优势互补、资源共享、高效沟通等竞争优势,而选择与其配偶共同经营管理企业,这使得“夫妻共治”型企业在中小民营企业中占据越来越重要的地位,对我国市场经济的发展也产生了深远的影响。从农耕时代的“男耕女织”模式到创新创业时代的“夫妻创业”模式的演变中可以看出,夫妻共同治理现象一直存在于人类的生产生活中,“
学位
资产作为企业重要的经济资源,其质量的好坏直接关系企业未来的发展。然而,在收入费用观的长期指导下,损益表成为核心报表,其所提供的盈余信息以及与之相关的收入和费用的确认与计量成为了报表使用者关注的重点内容。但随着会计准则改革,对应所倡导的会计理念由收入费用观转向资产负债观,对于资产和负债信息以及资产质量的研究却尚未引起足够的重视。已有针对资产质量的研究主要集中于资产质量的概念和经济后果两个方面。针对资
学位
目的:探讨耳穴埋豆联合“呵”字诀护理模式对急诊泌尿系结石性疼痛患者疼痛程度的应用效果。方法:选取我院70例急诊泌尿系结石性疼痛患者,按照随机数字表法分为联合组(n=35)与对照组(n=35)。对照组采用常规护理干预,联合组采用耳穴埋豆联合“呵”字诀护理模式进行干预。比较干预前及干预5d后,两组患者疼痛程度[数字疼痛评分表(NRS)]、心理痛苦[心里痛苦温度计(DT)]、舒适度[Kolcaba舒适状
期刊
我国为调动企业创新积极性出台了许多创新鼓励政策。这些政策降低了企业的创新成本以及创新风险,在一定程度上调动了企业创新积极性,企业的研发投入也随之增加。但其中有部分政策如给予企业创新补贴、给予税收优惠等,只能在短期内发挥促进企业创新的作用。想要真正调动企业创新积极性,关键在于通过制度设计保证企业的创新收益。知识产权保护政策则可以通过提高知识产权保护力度来保证企业创新收益,从根本上调动企业创新的积极性
学位
随着我国并购市场的逐步发展,合理预测并购定价的重要性日益凸显。从以往的研究中可以发现,目前企业并购的定价方法还存在较大缺陷,如对被并购企业价值评估不准确、没有合理预测并购溢价、缺乏正确的定价谈判策略等等。并购定价的失准对我国引进国外先进理论,创新并购定价方法提出了更高的期待。本文以我国并购市场定价失准的原因为起点,对现有并购定价方法的适用性与不足之处进行了深入探讨。研究发现目前企业并购定价的主要依
学位
随着自然资源的日益枯竭,再制造作为绿色制造、智能制造的重要组成部分,是制造业转型升级的重要突破点。再制造是以产品全生命周期理论为指导,利用先进技术和产业化手段将废旧产品进行修复和改造,实现废旧产品性能提升的一种产业。再制造系统主要包括三个子系统:拆卸车间、再加工车间以及再装配车间。其中,再加工车间是衔接拆卸车间和再装配车间的纽带,废旧产品的损坏组件在该车间中被加工成高质量的组件。再制造往往需要加工
学位