基于GAN的文本到图像跨模态生成模型研究

来源 :曲阜师范大学 | 被引量 : 0次 | 上传用户:sevinlee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在日常生活中,文本和图像是两种常见的承载信息的模态。随着人工智能和深度学习技术的发展和成熟,计算机模拟人类行为、从自然语言中生成图像的方法受到了广泛的关注。在生成对抗网络技术的研究与应用过程中,跨模态的文本到图像生成任务取得了一定的成果,但由于该任务结合了自然语言处理和计算机视觉等多个领域的技术,具有生成步骤复杂、挑战性高等特点,文本生成图像模型的性能需要进一步提升,尤其是生成图像的质量亟需提高。为了满足文本生成图像的高质量与多样性需求,本文主要针对多阶段和单阶段文本生成图像模型进行了较为深入的研究,主要工作包括以下两点内容:(1)为了提升多阶段生成模型中初级阶段生成图像的质量,提出了基于自注意力机制的文本生成图像模型SAttn GAN。将自注意力机制引入初级阶段图像生成过程中,通过捕获远程特征实现低分辨率图像的细化,从而间接地提高了最终高分辨率生成图像的质量。另外,稀疏注意力的应用使得该模型在注意力机制中关注更重要的成分,忽略其他不相关成分的影响。在图像多样性方面,通过在生成器损失函数中加入正则化项,显式扩大了两个相似图像之间的距离。基于CUB和MS COCO数据集的一系列实验表明,SAttn GAN不仅提高了生成图像的质量,而且在一定程度上丰富了生成图像的内容,增强了生成图像的多样性。(2)针对多阶段生成模型训练低效、传统单阶段生成模型中文本语义信息利用率低的问题,为了提高生成图像的质量,提出了层级的单阶段文本生成图像模型HDGAN++。首先,利用单流的生成器结构实现高分辨率图像生成,生成器中的残差层和上采样层负责融合图像文本特征,实现图像分辨率的提升。此外,在每个残差块中使用条件批量归一化方法,增强了文本语义信息的利用率。其次,为了增强生成图像与真实图像的类一致性,在判别器中加入了投影判别器组件。最后,在判别器中应用谱归一化方法,旨在稳定GAN的训练过程。基于CUB和Oxford-Flowers数据集的定量与定性实验结果,证明了该模型的有效性,不但在提高图像生成质量的同时稳定了训练过程,而且生成的图像具有多样性。
其他文献
近些年,癌症对人们的健康威胁越来越大,化疗药物虽然是目前癌症治疗的最基本技术手段,不过也因为其较强的毒副作用和相对低下的治疗效果,大大影响了其应用。纳米递药系统在抗肿瘤药的靶向传递以及癌症治疗等方面都有着特殊优点,但具有无法特异性地靶向肿瘤细胞并且存在着不能控释、缓释药物的技术缺陷。所以设计具备主动靶向性并有效调控药物释放功能的纳米递药系统对治疗癌症有着重要意义。本课题设计了一种新型仿生智能递药系
学位
高比例风电是新型电力系统发展的突出特征,但风电随机性与反调峰特性导致系统灵活性需求加剧。储能可有效提升系统应对风电不确定性的灵活调节能力,定量分析储能对系统调节能力的影响有利于储能的合理规划利用。基于源荷储互动经济调度模型,考虑储能参与系统调峰、爬坡和旋转备用,通过越限约束边界的迭代生成计算风电可调度域;对比不同容量规模和空间布点的储能配置方案下系统风电可调度域正负偏差边界,量化表征储能配置对系统
期刊
随着经济社会的快速发展,人们的消费观念悄然发生改变。近几年来,人们不管经济是否富足,都可能出现冲动消费行为。尤其是大学生由于社会阅历浅、思想单纯、消费欲望强烈,更容易受市场营销、商业广告等方面的影响而发生冲动性购买。已有研究发现,当代大学生的物质主义水平普遍偏高。这种物质主义倾向是否会对其冲动性购买产生影响,是一个值得探讨的课题。物质主义者将金钱作为成功和幸福的标志,为此形成的金钱态度会影响个体的
学位
报纸
<正>外籍人才是我国高新技术发展不可或缺的组成部分。新个人所得税法改革确立了综合与分类相结合的混合计征体制,将非居民纳税人的居住时间范围收紧。本文从新个税制度改革要点入手,分析新个税法改革对我国高新技术企业引进外籍人才的影响以及企业可能面临的涉外税务风险,并提出企业的风险防范策略。
期刊
<正> 我科1986~1990年以来运用补血活血法治疗顽固性头痛40例,收到较为满意的效果。现就临床观察报道如下。临床资料40例头痛患者中,女性32例,男性8例;年龄18~45岁;病程3年以上者25例,4月至1年15例;最长5年,最短4月。其特点为:头痛反复发作,时轻时重,经久不愈,兼有头晕,脉沉或弦,舌质淡或暗。其中拍片示颈椎改变5例,脑电图轻度异常2例,经前期头痛加重5例,外伤引起2例。治疗方
期刊
随着我国对外开放水平的不断提高和“一带一路”建设的迫切需求,党中央高度重视人才引进工作,为响应习近平总书记提出的要“聚天下英才而用之”的号召,各地相继出台政策制度确保引进流程进一步规范化、简捷化,出台配套措施要保障对外籍人才的吸引力和可持续性发展。但“选人”“用人”和“留人”难的问题一直是制约地方高校引智工作的重要因素。本文借助数据分析了辽宁省属高校在外籍人才引进中面临的实际困难,从导向引领、侧重
期刊
<正>我国教育已经迎来了全新的改革,全面推行素质教育。但在过去的高中语文教学中,繁杂的语文课程导致教师教学手段一成不变,教学内容比较枯燥,课堂教学效率不高,学生也提不起学习语文的兴趣。所以,创新高中语文课堂教学手段显得格外重要,只有通过多样化的教学手段才能使学生保持对高中语文的学习兴趣,从而帮助学生提升语文水平,启发学生的思维能力,为未来的学习和生活提供坚实的基础。
期刊
<正>引言全球外籍人才情况概览外籍人才即具有外国国籍、在某一行业领域具有特殊造诣的专门人才1。外籍人才的流动,对于技术扩散、国际贸易、科技创新、文化创意等方面都具有重大意义2,与本国人才形成充分互补。1970-2020年,全球国际移民流动规模由0.8亿人增长至2.8亿人3(图1)。新冠肺炎疫情暴发后,全球移民流动有所放缓,很多外籍人士在综合考虑出入境政策、就业形势、医疗保障、家庭团聚等因素后,决定
期刊
<正>《幼儿园教育指导纲要(试行)》健康领域的目标中指出,“教师与家长要根据幼儿的需要建立科学的生活常规,培养幼儿良好的饮食、睡眠、盥洗、排泄等生活自理习惯。”当前大多家庭的孩子由爷爷奶奶抚养长大,由于溺爱的存在,导致大多幼儿生活自理能力较差,很多小班幼儿在入园以后难以适应幼儿园的生活和学习。因此,加强对孩子自理能力培养,帮助孩子逐渐养成生活自理的好习惯,势在必行。
期刊