【摘 要】
：
图像描述是一项计算机对给定图像自动生成相关文字描述的技术。不同于一般的图像识别模型,图像描述不但包括对物体、人物、场景的识别,也涉及对于文本理解和生成,是多模态领域一个极富挑战性和应用前景的领域。图像描述首先要解决多模态信息的融合问题,因为图像描述的文本和图像的融合质量直接决定了描述的生成质量。为了让图像描述根据生成句子的状态对图像施加不同的“关注度”,注意力机制被应用到了图像描述领域。然而,目前
论文部分内容阅读
图像描述是一项计算机对给定图像自动生成相关文字描述的技术。不同于一般的图像识别模型,图像描述不但包括对物体、人物、场景的识别,也涉及对于文本理解和生成,是多模态领域一个极富挑战性和应用前景的领域。图像描述首先要解决多模态信息的融合问题,因为图像描述的文本和图像的融合质量直接决定了描述的生成质量。为了让图像描述根据生成句子的状态对图像施加不同的“关注度”,注意力机制被应用到了图像描述领域。然而,目前大部分相关研究工作只关注对卷积网络的高层特征使用注意力机制,而忽略了对于理解图像同样有益处的浅层次视觉信息。另外,为了解决图像描优化指标和评估指标不一致的问题,近期的一些工作利用强化学习将CIDEr等指标作“奖励”直接优化图像描述的评估指标。但是这种奖励也存在一些问题,它并未考虑单个词级别的奖励,也没有充分利用其它非ground truth的句子对全局奖励进行增强。为了提升图像描述的生成质量,本文开展了如下几项重要研究,所提出的方法在相应公共数据集上进行了验证。（1）为促进图像描述的研究,本文提出了两种多模态融合模型,并分别应用在视觉问答和视频场景识别任务。在这两个图像任务中,我们通过多模态融合模型,高效的融合多种模态的信息将信息映射到共同的语义空间有效的提升模型的性能。实验结果证明多模态融合模型在两个视觉任务中都有出色表现,视觉问答模型准确率达到57%,视频场景识别模型准确率达到67.71%。（2）为了全面利用图像中的多层次的信息,本文提出一种多层次注意力融合模型。该模型不仅使用了高层次的视觉特征信息,同时也充分利用了低层次的视觉特征。它根据生成句子状态关注不同层次特征所代表的信息,最终对多层次的注意力特征进融合达到有效利用多层次信息的目的。和相关的注意力模型相比,该模型显著的改善了图像描述的质量,CIDEr在原有基础上提升了4.3。（3）为了构建单个词级别的奖励,同时也为了充分利用数据集中给定的句子信息,本文构造了多粒度的强化学习奖励用于训练图像描述模型。首先本文提出了一种再评估网络,该网络通过对每个单词进行评估,对全局的“奖励”进行重新分配,从而使每个单词拥有不同的奖励分数,这种奖励是一种单级别的奖励。此外,为充分利用数据集中给到的信息,本文还提出一个打分网络对生成的句子进行排序打分,将句子的打分情况评估对句子生成质量,该分数作为句子级别奖励用于优化模型。最后经过多粒度奖励进行强化学习优化的模型CIDEr分数达到了116.4,比同类的模型效果好。
其他文献
＜正＞审计整改工作的有效落实关系到审计工作的成效，对确保审计监督效能发挥、维护审计监督权威起到十分重要的作用。但是在审计工作中，审计人员常会发现同样的问题“年年审、年年犯”，一些问题通过整改解决后，又会重新出现或以另外一种形式出现，这直接影响审计部门完成审计使命，审计达不到“审计—整改—规范—提高”的效果，影响审计监督的权威性。究其缘由，
铜作为一种重要的工程材料,由于其具有较高的电导率、热传导率、良好的机械加工性,广泛用于制造管道、换热器、阀门、螺旋桨等结构件。众所周知,金属与水的接触会引起腐蚀反应。因此,通过减少水与铜表面的接触面积,可以显著提高铜的耐蚀性。本论文采用了氧化和电化学沉积方法在铜基体构建仿生超疏水和超滑表面,采用扫描电子显微镜、三维视频显微镜、荧光显微镜、X-射线衍射技术、X-射线光电子能谱、扫描开尔文探针和电化学
在企业内部审计实践中，经常存在“重视检查、忽视整改”“履查履犯”等问题，极大降低了企业内部审计工作质效。如何提升审计整改质量，把审计工作做好，是制约审计工作质量提升的瓶颈。本文重点探析企业内部审计的整改现状和存在的主要问题，并结合实际情况提出提升审计整改成效的路径。
第一部分转移性结直肠癌姑息性手术的生存获益分析及预后预测模型的构建目的:探讨转移性结直肠癌患者行姑息性手术切除原发肿瘤病灶的生存获益,并构建姑息性手术组与非手术组的预后预测模型。方法:回顾性分析美国国立癌症研究所“监测、流行病学和结果”（Surveillance,Epidemiology and End Results,SEER）数据库2010-2015年诊断为转移性结直肠癌患者的临床数据。通过倾
随着经济社会的发展,安全生产的重要性越来越突出。根据长期的研究,不安全行为是导致安全事故发生的重要原因。研究不安全行为的影响因素,提出有效的控制对策,控制企业的风险,降低事故的发生,成为当今安全管理的重点和难点。我国大力发展油气资源勘探与开采工作,以满足日益增长的油气资源需要。但地震勘探作业环境复杂,一旦发生事故,容易造成重大的人员伤亡和财产损失。虽然近几年对于该领域的事故研究开始广泛,但是尚未形
目的 采用单细胞RNA测序及网络药理学方法探讨逍遥散治疗三阴性乳腺癌（TNBC）的潜在分子机制。方法 收集GEO数据库中TNBC及正常乳腺组织相关的单细胞RNA测序数据，利用R语言软件中的Seurat3.0程序包对其进行主成分分析（PCA）及tSNE聚类分析，并收集各亚群细胞的差异表达基因。通过中药系统药理学数据库及分析平台（TCMSP）检索逍遥散活性成分，获取逍遥散活性成分作用靶点与TNBC v
目前城市发展日益加速,城区电网规模也越来越大。以青岛市为例,青岛市域具有小电流接地系统的变电站142座,青岛公司已完成全部市域变电站母线电容电流实测,部分变电站存在电容电流超标现象,一旦配网发生单相接地故障极易造成的电缆火灾、大面积停电及重大人身触电事件的问题。因此接地线路运行一到两小时已经不适用于当今社会的发展,所以当小电流接地系统发生单相接地故障时,应快速进行选线切除故障,否则发生电流电弧引燃
为了探讨低温胁迫对青大1号紫花苜蓿幼苗生理特性的影响，将其幼苗置于0℃,分别低温胁迫6、12、24、48、72 h,以25℃为对照，通过测定低温胁迫下紫花苜蓿叶片生长及生理指标确定其抗寒生理特性。结果表明：相较于对照组，随着低温时间的延长，丙二醛含量呈先升高后降低直至平稳的趋势；随着低温时间延长，叶片中脯氨酸含量逐渐积累，在低温胁迫6 h处理下叶片脯氨酸含量最低，为0.019 1μg/g, 24
无线携能通信（Simultaneously Wireless Information and Power Transfer,SWIPT）是一种具有广阔应用前景的绿色通信技术,能够从环境射频信号中收集能量,并利用收集到的能量传输信息,具有灵活性高,组网便捷,绿色可持续的优势。SWIPT接收机的资源分配策略是决定SWIPT网络性能优劣的关键所在,现有SWIPT接收机资源分配策略只考虑实现当前时刻内网络
电偶腐蚀是海洋结构工程中的常见的腐蚀行为之一,由于异种金属间的腐蚀电位差,电偶腐蚀体系中的阳极往往会产生较为严重的腐蚀行为。然而目前在船用低合金钢和不锈钢多种金属电偶腐蚀体系的认识尚不充分,使得不锈钢在实际工程应用中存在腐蚀破坏风险。探究不锈钢和船体钢在不同电偶腐蚀体系中的腐蚀行为和规律,对工程应用和防护手段的选择有极为积极的作用。本文采用全浸腐蚀实验和电化学实验对不锈钢的自腐蚀行为进行了评价,同