基于注意力长短时记忆网络的图像描述算法研究

来源 :湘潭大学 | 被引量 : 0次 | 上传用户:zhouyueying
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像描述旨在把一幅图像的内容翻译为人类能够理解的自然语句,这与图像分类、目标检测等粗粒度的图像理解任务有一定的区别。图像描述任务不仅需要模型识别出图像中的目标、场景、属性等信息,还需要模型能够理解它们之间的关系,因此具有很大的挑战性,在婴幼儿早期教育、图像检索、辅助视觉障碍人士等方面具有极为广阔的应用。近年来,由于深度学习的发展及编码器-解码器框架在机器翻译领域中的有效应用,基于编码器-解码器框架下的图像描述任务得到快速发展。本文的主要工作如下:(1)提出了基于注意力长短时记忆网络的图像描述算法。针对长短时记忆网络中各个时刻获取信息不准确的问题,我们提出了注意力长短时记忆网络,该网络使用上一时刻隐藏层的信息控制当前时刻的输入信息;同时我们将注意力长短时记忆网络与四种经典图像描述模型框架相结合并在图像描述数据集上进行实验,验证了注意力长短时记忆网络对图像描述任务的有效性。(2)提出了基于目标区域注意力机制的图像描述算法。通过研究图像描述算法,我们发现图像各个子区域中包含清晰的语义目标信息更能提升图像描述的准确性,因此能否正确获取图像中的目标区域信息是图像描述的关键。在基于注意力长短时记忆网络的图像描述算法的基础上,我们利用Faster-RCNN目标检测模型提取图像的目标区域,利用注意力机制关注各个目标区域;通过强化学习的方法对图像描述模型的训练过程进行优化并通过实验验证目标区域特征及强化学习方法对图像描述任务的有效性。
其他文献
安全工作与企业协调发展、员工生命健康息息相关。当前,物流行业发展迅猛,但风险因素交织叠加,安全形势复杂严峻,事故事件多发频发,安全发展矛盾加剧。本文基于此背景,借鉴国
通过在海绵孔隙结构上构筑具有低表面能的二级微纳结构,得到具有超疏水性能的海绵被广泛应用于实现油水分离、防污材料等领域。具有表面微纳结构的超疏水表面与传感器相结合
随着Docker容器技术的发展普及,越来越多的企业开始利用Docker容器构建云平台。为了使Docker容器上托管的应用程序可以安稳运行,都会为其调配充足的资源。但大多数情况下托管的应用程序不是以最高负载的状态运行,并且CPU、内存等各项资源也不会同时处于最高负载的状态,因此预先调配的资源在大多数时候会处于空闲状态,从而造成了资源的浪费。当应用处在负载较高的状态,预先分配的资源也不一定够用,使用特
Hippo信号通路在细胞的稳态维持中有重要的作用,对控制组织器官大小以及细胞增殖、凋亡有着重要的调节作用。在哺乳动物中,Hippo信号通路是高度保守的信号通路,主要组分包括Mstl/2,Sav1,Lats1/2,MOB1a/b以及转录共激活因子YAP/TAZ,是一个激酶介导的级联反应。研究表明,Hippo信号通路可以受到许多细胞外信号的调控,包括LPA(Serum-borne lysophosph
目的:探讨不同海拔地区正常肾脏表观弥散系数(Apparent diffusion coefficient,ADC)值的变化及其影响因素,并分析海拔、肾脏皮髓质ADC值与肾功能指标是否存在相关性,从而在影像学角度反映肾功能变化,为高原肾脏的病理生理研究奠定基础。方法:收集2017年11月-2018年12月期间青海不同海拔地区健康志愿者83例(包括男性42例,女性41例,年龄在22-65岁之间),并制
随着全球经济一体化的迅速发展和我国改革开放政策的深入推进,我国市场环境和消费者需求变得日益复杂多元,由于小企业具有经营方式灵活、投入成本较少、进退门槛低等特点,加
语义分割在机器人视觉中起着非常重要的作用,可用于众多现实世界的应用程序中,例如虚拟现实和增强现实,机器人技术和自动驾驶技术。最近,在全卷积网络(FCNs)中的不同层中探索
输电线路与配电网在电力系统中具有举足轻重的作用,随着经济的高速发展,城镇化水平越来越高,为满足电力系统的稳定运行,美化城市形象,立足于可持续发展现实,电能的输送方式由单一的架空线路逐渐发展为电缆-架空线的混合线路。在线路故障发生后,快速准确的确定故障位置,对电力系统的快速恢复供电以及安全稳定运行具有十分重要的意义。现有的故障定位方法存在种种缺陷,尤其是对于电缆-架空线混合线路,基于此,针对电缆-架
得益于优秀的自清洁功能,具有超疏水性能的材料表面近些年来一直备受学术界和工业界的关注。众所周知,微纳米复合结构和低表面自由能是实现超疏水性能的两大主要因素。发展至今,在多种材料如硅、金属、金属氧化物、聚合物及纺织品等表面均实现了具备超疏水性能的微纳米复合结构。在目前实现的人工超疏水表面中,高透光自清洁玻璃表面在窗户、汽车后视镜、挡风玻璃、防污镜、微流体装置、安全玻璃和太阳能面板等应用领域具有巨大的
目的:探讨通过慢病毒介导活化T细胞核因子cl(nuclear factor of activated T cells c1,NFATc1)进行兔膝关节腔注射,观察其是否能延缓关节软骨的退变。方法:选取12只雄性新西