基于注意力机制自对抗网络文本生成技术研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:fang_pi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,在计算机技术的依托下,社交媒体在互联网的沃土上蓬勃发展,社交媒体是人们获取各项信息的重要来源。传统社交媒体内容发布需要人工花大量时间编纂、修改、审核、发布,这一系列流程耗费大量资源,并且创建的内容难于满足人们的需求。随着深度神经网络的快速发展,自动文本生成技术已经引起了广泛关注。通常,用于文本生成的常规生成对抗网络往往会出现奖励稀疏和模式崩溃问题,这些问题会影响生成样本的质量和多样性。在人们需求日益多样化的今天,如何让机器创建出具有创造性、吸引消费者注意力的社交媒体内容,是自然语言处理领域的一大挑战。为解决这些问题,本文提出一种新颖的基于注意力机制自对抗网络文本生成模型-ABSAN,解决社交媒体内容自动生成问题。本文从奖励稀疏、文本生成质量和模型收敛速度三个方面对LeakGAN模型进行优化,实验结果表明ABSAN模型提升了现有生成模型的上限。在奖励稀疏方面,LeakGAN模型和传统GAN模型一样,采用单一判别器来预测样本真假性。这是一种简单的二分类问题,没有考虑不同批次样本间关系,奖励值提供的学习信号是有限的。本文提出一种自对抗学习的训练方式,使用判别模型对成对样本进行判别,反馈文本序列奖励值。实验证明,ABSAN在合成数据集上取得了更好的NLL数值。在文本生成质量方面,LeakGAN将判别器特征提取器提取的特征向量反馈给Manager模块,指导Worker模块生成过程。考虑到文本序列在不同结构层次上的特征,本文在生成器中引入分层注意力机制指导Manager模块生成更高质量目标嵌入向量。此外,本文在判别器中引入注意力层,进一步提升判别器中特征提取器提取的特征质量。实验结果表明,在真实数据集上,ABSAN模型取得了最好的调和平均BLEU分数。在模型收敛速度方面,本文分别对Manager模块和Worker模块的LSTM网络进行批样本归一化操作,优化损失函数各处的平滑程度,改善模型梯度流。实验结果表明,在合成数据集上,ABSAN模型的收敛速度得到提升。本文通过分析生成实例,证明ABSAN模型生成的文本内容质量能满足社交媒体内容自动化生成质量要求,为实现社交媒体内容自动化生成提供了解决办法。
其他文献
肥胖谈论(fat talk)是有关一个人的外表、饮食和锻炼行为的负面人际交流。以往研究发现,对肥胖谈论的不同回应方式会对个体的身体意象和人际关系产生不同的影响,然而对回应方式产生影响的心理机制还缺少深入研究。本研究以大学生为样本,通过实验研究一,调查了393名被试的肥胖谈论状况,并验证五种主要的回应方式(挑战、忽略、保证、回报、证实)与心理健康结果(社会支持、亲密度和身体不满)之间的联系;通过实验
学位
<正>非现役文职人员党员是部队建设的新生力量,是一个特殊群体。按照党的先进性建设要求抓好这支队伍的建设对推动部队建设发展具有重要意义。最近,我们对部队非现役文职人员党员
期刊
郑玄融贯今、古文经学,遍注群经,在训诂实践中继承前代声训之成就,特别强调“就其原文字之声类,考训诂,捃秘逸”的训诂方法,并使因声求义的重心从神学、政治领域转移到语言学领域。郑玄自觉使用因声求义的训诂方法,他在这方面的训诂实践具体包括推源与系源、破假借、明方言、明连语、明合音、释谐音双关等几个方面,并形成了一套术语。郑玄运用因声求义的训诂方法具有以下主要特点:融合古今,兼收并蓄;自觉运用,内容广泛;
学位
谣言一般被定义为广泛流传但未经证实、真伪性难以辨别的信息。移动互联网的飞速发展使得社交媒体成为了人们获取信息的主流平台。但是社交媒体的开放性、即时性、互动性也导致虚假谣言的广泛传播,给个人、社会和国家都带来了不良的影响。社交媒体谣言的特点是会引发大量用户评论,这些围绕谣言的讨论以树形对话结构的形式出现。针对社交媒体文本数据,如何从大量的对话中对谣言进行判别已成为一项艰巨的挑战。传统的基于特征工程的
学位
游戏是伽达默尔诠释学美学的起点,他从对康德的批判开始,驳斥了传统美学家眼中的“人的游戏”,将关注点落在“游戏的人”之上。伽达默尔认为游戏的主体不是游戏者,但游戏需要通过游戏者的游戏得以表现。在游戏的特征阐述上,他借鉴了赫伊津哈对游戏的人类学研究,认为游戏活动以往返重复的特征表现出来,它是无目的的。游戏将理性纳入自身,并超越简单的追求目的的理性。游戏不再受游戏者支配,转而成为游戏者的主宰。伽达默尔依
学位
近年来,基于对模型训练时的隐私安全、通信成本与存储开销等方面的考虑,联邦学习作为一种高效的分布式机器学习框架,受到了学术界与工业界的广泛关注。与传统集中式学习不同,联邦学习无需集中收集与存储训练数据,而是将训练数据保留在参与方本地,并借助服务器在多个参与方之间共享并更新模型,从而将模型的训练过程从服务器端下沉到参与方的本地设备。然而已有工作表明,即使数据不离开参与方的本地,攻击者仍可在联邦学习的过
学位
近年来,随着数字化网络时代的发展,人们的日常生活和工作都离不开计算机。计算机网络系统给人们带来便利的同时,也存储和处理着大量的敏感数据。为保护这些数据免受攻击者的篡改和获取,各种密码学技术得到了广泛的应用。侧信道攻击提供了一种不同于数学密码破解的方法对这些数据进行分析,使得通过侧信道信息恢复密钥成为可能。其中,时间侧信道攻击是计算机系统主要的安全威胁之一,处理器微架构设计为时间攻击提供了多种途径。
学位
我国寒区地域辽阔,受多年冻土区向季节性冻土区转变的影响,在寒区岩体工程建设过程中频频发生因冻融循环作用引起的隧道坍塌、边坡失稳等地质灾害,已经严重影响我国“一带一路”战略的推进。本文紧密围绕裂隙岩体冻融损伤扩展机理进行研究,利用相似材料制备含不同裂隙形式的单裂隙和双裂隙类岩石试样,开展一系列冻融循环和单轴压缩试验。通过分析冻融-荷载耦合作用下单裂隙岩体的断裂特征和劣化规律,进而探究双裂隙岩体冻胀扩
学位
医学图像分割在医学诊断中有着举足轻重的地位。近年来,随着深度学习的不断发展,各种网络模型在医学图像分割领域百花齐放。其中,2015年提出的U-Net网络在图像分割领域受到广泛关注。本文分析了深度学习模型在医学图像分割领域的应用,探索了胶囊网络在医学图像分割领域应用的可能性。本文的主要工作如下:(1)分析基于卷积神经网络的U-Net医学图像分割模型存在的问题,针对性选择相关数据集,设计实验并证明其存
学位
深度神经网络模型是人工智能技术中应用最为广泛的学习模型,其安全研究也越来越受到重视。模型逆向攻击旨在恢复部署在推理终端的神经网络模型的结构和权重值,是AI安全中的基础问题,为对抗样本等高阶攻击提供数据支撑。文章从侧信道的角度出发,将模型推理过程中产生的内存消耗与推理时间等数据作为攻击者可以获取的数据源,通过分析侧信道数据,文章对模型逆向的结构逆向和权重逆向两个方面进行了研究。在模型结构逆向方面,本
学位