一种基于生成对抗网络的图像描述方法

来源 :吉林大学 | 被引量 : 0次 | 上传用户:zhongminghe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像描述任务的目的是给定一张图像,输出含有该图像的语义信息的一段描述性文字。这段文字不但要描述出图像中出现的主要实体,还要反映实体间的关系,同时也要保证描述语言的准确性和流畅性。这项任务不但要使用计算机视觉领域的和图像处理有关的技术,也涉及到自然语言处理领域的相关知识。该任务在实际生活中有着广泛的应用,例如图文搜索、人机交互等领域。目前主流的算法采用的模型是编解码网络模型,该模型分为编码端和解码端,首先将图像在编码端处理成含有图像语义信息的特征向量,再将语义特征向量输入到解码端进行解码生成文字描述。该模型存在着一些不足:1.传统的编解码图像描述模型在生成文本的过程中由于解码端的结构过于简单,导致生成的描述文本质量较差。2.传统的编解码图像描述模型使用极大似然估计法来训练模型,每次生成单词时选择概率最大的待生成单词进行生成,导致生成的描述和图片的参考描述同一化,使生成的描述较为单调且缺乏多样性。本文主要工作如下:1.本文提出一种名为二阶段LSTM(Two-phase LSTM)的模型,该模型通过对传统的编解码图像描述模型的解码端进行改进,用当前时刻LSTM的隐状态去构建上一时刻LSTM的隐状态,增强了两个隐状态之间的联系,从而提高了生成描述文本的质量。2.针对生成的描述内容较为单一的问题,本文将上述二阶段LSTM模型结合生成对抗网络设计了一种新的图像描述模型,该模型提高了生成描述的多样性。3.使用本文的模型在MSCOCO数据集上进行实验,结果说明了本文所提出模型的有效性。
其他文献
地震学在上地幔,过渡带以及核幔边界处观测到了许多超低速度带的存在,这些超低速度带的形成多被归因于硅酸盐的熔融或部分熔融。玻璃常作为一种熔体的类似物用来研究地球内部致密岩浆的性质。因此研究硅酸盐玻璃的高压行为(如声速、相变和状态方程)有助于理解熔体在高压下的特性。MgSiO3是地球内部地幔中含量最丰富的成分,研究MgSiO3玻璃的高压性质对了解地球深部超低速度带具有重要意义。Al2O3也是地球内部最
本文的目的是研究在热辐射存在的情况下,纳米流体沿着收缩/拉伸薄板表面流动时的热传递状况,并得到流体动力学基本方程的具有对偶性质的精确解.为了详细探究上述问题,首先,通过给定的流体模型,确定由连续性方程,动量方程和能量方程构成的控制偏微分方程组,并使用热辐射项定义对流换热边界条件.然后,通过使用恰当的相似变换替换动量方程和能量方程中的速度和温度项,将关于动量方程和能量方程的偏微分方程转换为无量纲非线
华宇墓地位于山西省大同市魏都大道东侧,云波路北侧,南环路南侧。2014年,为了配合大同市华宇广场的建设进行了首次发掘。2019年,大同市考古研究所对该区域再次进行了考古调查并发掘墓葬70余座,清理出62例个体,其中时代属于北魏的个体共50例。这批人骨年代确切,阶层相近,或为同族墓地。对这批材料进行体质人类学研究,不仅可以了解该人群的社会结构、生业模式、经济发展水平和营养健康状况,更能够反映出北魏时
苏轼的地理学思想与实践散见于其《书传》、《易传》、文赋、奏议、诗词、题记之中,不仅具有渊博的地理学知识,而且往往能够在理政实践中加以运用。《书传·禹贡篇》是苏轼重要的地理学专篇,虽然以儒家义理阐释《尚书·禹贡》,但体现了苏轼非凡的历史地理知识与见解。苏轼以辩证的自然地理哲学观念解《易传》,认为自然之力虽然不可抗拒,但对一些自然地理现象只要细加探讨是可以认识的,且有一定规律可循。苏轼的自然地理学思想
为使地球物理探测技术手段更具适用性和针对性,介绍了环境污染调查中常用的物探技术方法,包括高密度电阻率法和探地雷达法。分析了物探方法在环境污染调查中的应用,包括在垃圾填埋场填埋边界及渗滤液渗漏污染调查、有机污染物调查、地下填埋固体废物调查、污染场地修复及效果评估过程监测中的应用,对环境物探技术的发展方向进行了展望,以期推动生态环境的精准查污和科学治污。
非线性方程在自然科学和社会科学领域有着广泛应用.它可以用来模拟物理过程,解决生态系统和经济系统中遇到的问题.但绝大多数非线性方程没有解析解,因此对于它的数值方法的研究具有十分重要的意义.本文针对二阶非线性椭圆方程,使用有限体积元法求解并给出严格的误差估计.首先,对求解区域进行一般凸四边形网格剖分,选取等参双线性元空间为试探函数空间,分片常数函数空间为检验函数空间,构造了相应的有限体积元格式.其次,
目的 :分析研究柴葛牵正汤治疗面神经炎的临床疗效。方法:本次将东莞市长安新安医院在2018年2月-2020年6月收治的60例面神经炎患者作为研究的对象,按随机数字表法分成两组,其中对照组30例采取常规西医药物治疗,观察组30例则采取中药柴葛牵正汤治疗,进一步比较两组临床治疗效果。结果:(1)在治疗总有效率方面,观察组与对照组比较更高(P <0.05)。(2)在面部表情肌瘫痪、前额皱纹消失、眼裂扩大
在自然语言处理的各项任务中,命名实体识别作为基础任务来说十分重要,它的准确率决定了后续任务的效果。目前命名实体识别算法的研究大多只限于新闻领域,主要识别的实体为人名、地名等,虽然取得了很好的成果,但是在实际应用过程中,需要识别特定领域的命名实体。本文从数学领域出发,探究识别数学命名实体的算法模型。面向数学领域的命名实体识别任务指从数学科技文本中识别出数学命名实体,即数学专有名词,是从海量的文献中挖
本文考虑求解各项异性扩散问题的低阶元有限体积法,包括三角形网一次元有限体积法和四边形网双一次元有限体积法,并且对这两种格式进行单调修正,修正后的格式具有单调性,即数值解具有保正性。在推导低阶元有限体积格式时,需要计算对偶单元边界线段的线积分,并将这些线积分看成是数值流,注意到这些数值流具有两点流结构。因此,可以对这些数值流进行非线性单调修正,得到修正的低阶元有限体积格式,其刚度矩阵为M矩阵,其逆矩
本文主要研究了一种特殊抛物问题的数值方法(有限差分法和有限元方法),及其在亚式期权定价中的应用.首先,我们给出了 Black-Scholes模型下算术平均亚式期权满足的抛物方程,它是一个空间二维变系数的倒向抛物问题.接下来使用了一种降维变换和远场截断的技巧,将其变成有界的一维常系数正向抛物问题.进一步,我们给出了该问题的有限元格式和有限元误差分析.最后通过升维逆变换,得到了算数平均亚式期权的数值解