基于非成对学习的图像描述评价与对抗生成

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:huangwily
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像描述任务即计算机自动根据图像的内容,为图像生成相应的完整且通顺的自然语言描述,实现从图像到语言的映射,在图像摘要、人机交互、视障人士帮助、自动医疗报告等诸多领域,都有着广泛的应用。近年来,深度学习技术的应用使得图像特征提取和文本自动生成取得了越来越好的效果,这也为图像描述任务的解决提供了有力的支撑。随着常规图像描述任务在精度、召回率等传统评价指标上的表现已经达到了很高水平,研究者们开始更加注重所生成的图像描述的生动性和风格化。本文首先针对依赖于N元组重现的传统图像描述评价方法存在的无法合理衡量风格化图像描述质量的问题,提出了一种基于非成对学习的图像描述评价方法(UICE)。区别于现有评价指标将待评价描述与参考描述相对比的方式,UICE直接将图像特征和语句特征进行对比,衡量描述语句语义是否与图像内容一致。此外,UICE设计了基于学习的语法评价模块,衡量描述语句在语言表达上是否语法正确,通过在不同数据集上进行训练,UICE可以获得评价不同风格化描述的能力。通过实验,我们证明了 UICE能够正确地对语义一致性和语法正确性进行评价。除了可以更加灵活地进行风格化描述的评价,这种新的评价指标的优越性还在于可以脱离数据集中固有的参考描述。在UICE的基础上,我们将其作为反馈奖励,构建了一种新的图像描述对抗生成模型。该模型的生成器部分采用传统的Encoder-Decoder模型,但除了全局图像外,该模型在生成过程中还引入了目标检测属性和额外语料库的一些常识与先验信息。针对离散样本无法反向传播的问题,该模型在图像描述生成过程中采用了Gumbel采样。判别器部分则采用了本文所提出的UICE对图像描述质量进行判别。实验证明该模型生成语句在目标属性描述等方面能够达到较好水平,在涉及单词量等方面能够获得优于现有模型的效果。
其他文献
随着物联网、云计算与大数据技术的不断发展,数据中心的规模不断扩大,其能源消耗也变得越来越大,数据中心网络节能已经成为了重要的研究领域。传统数据中心网络状况复杂、难
肿瘤,尤其是恶性肿瘤,作为全球最大的公共卫生问题之一,已极大地危害人类的身体健康。细胞外基质(ECM)作为肿瘤微环境的重要组分,在肿瘤发生发展的各个阶段发挥着相应的作用,
车载热成像行人检测是计算机视觉领域的一个研究热点,为高级辅助驾驶提供了重要的技术支持。热成像不受光照影响,但是分辨率、对比度和信噪比较低,车载热成像行人检测稳定检
目的:研究REG4在胃癌腹膜转移中的作用和机制,并发现一个由REG4触发的正反馈调控环路。方法:以免疫组织化学方法(IHC)检测胃癌标本中REG4的表达情况。采用REG4过表达胃癌细胞
随着国内马铃薯收获机械化水平的不断提升,在借鉴了国内外先进技术的基础上,结合国内马铃薯收获地形差别较大的实际情况,设计了一款能够适应多种收获地形的仿形挖掘结构—摇摆结构。根据目前国内马铃薯联合收获机挖掘装置存在无法实现垄上压力调节的问题,提出了垄上减压系统的设计方案。通过研究马铃薯整茎物理机械特性、马铃薯块茎生长分布以及土壤物理机械特性等,为马铃薯联合收获机关键部件设计提供理论依据。本文主要研究内
随着时代的进步,互联网应用越来越融入到人民的日常生活中,伴随着网络视频、音频以及数字通信技术在通信传输速度的要求也越来越高。而无线通信系统技术同样的发生翻天覆地的
泛素-蛋白酶体系统(ubiquitin-proteasome system,UPS)是体内水解细胞周期调控蛋白的重要通路,它的异常会引起多种疾病的发生,如:肿瘤、阿尔茨海默症等,因此,UPS已经成为重要的抗肿瘤通路,其中蛋白酶体是这一通路中重要的药物设计靶点。目前针对蛋白酶体的抑制剂种类较多,可分为肽及非肽两大类。肽类抑制剂中硼酸类药物硼替佐米(Bortezomib)以及环氧酮类药物卡非佐米(Ca
背景与目的:胰腺癌是消化道常见的恶性肿瘤之一,在世界上癌症的发病率与死亡率都位列于第七位。尽管近些年来对于胰腺癌的诊断、治疗技术不断进步,但由于胰腺癌起病隐秘、恶
随着统计机器学习和深度学习技术在人工智能领域中的不断发展和应用,生物识别也逐渐成为人工智能领域中的重要研究对象之一.声纹识别是生物识别中身份验证的一种,是指通过对
随着大数据时代的到来,海量的信息以半结构或者原始文本的形式存在于网络中,如何将其中的信息以结构化的形式储存是当前亟待解决的问题。知识图谱作为结构化的语义网络被广泛