基于深度学习的图像多语义属性预测研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:werr2000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像属性预测是计算机视觉领域的基础任务之一。早期的图像属性预测大多是基于人工设计的特征,但视觉图像与属性之间的语义鸿沟问题导致其预测效果不尽如人意。随着深度学习技术的快速发展,利用深度网络提取的深度特征来进行图像属性预测成为学术界的研究热点。本文围绕图像的多语义属性预测开展研究,提出了三个深度神经网络模型,提升了图像多属性预测的准确性。本文的主要工作与创新点如下:(1)提出了一种基于注意力机制的双向长短时记忆网络,提高了图像语义属性预测的准确性。本文提出的网络在经典深度卷积神经网络VGG-16的基础上,增加了基于残差机制的注意力模块以排除不相干背景的干扰,并通过双向长短时记忆网络对所提取特征进行学习,以挖掘语义属性与图像特征之间的相关性。在目前规模最大的开源服装图像属性数据库DeepFashion上的实验表明,本文提出的深度神经网络在Texture、Fabric、Part、Style这四类语义属性预测中能获得1%~6%的召回率提升,其中Texture类属性的预测表现最为突出。(2)提出了一种基于多任务机制的Attentional Bi-directional LSTM网络,进一步提升了图像语义属性的预测性能。ABLSTM网络在基于注意力机制的双向长短时记忆网络基础上,增加了一个特征点预测子网络,并设计了多损失函数,通过两个网络的联合优化进一步提升了网络对高层语义属性的预测性能。在DeepFashion-C数据库上的实验表明,ABLSTM网络对Texture、Fabric、Shape、Part这四类语义属性的预测召回率比前一个网络又提升了约2%~5%,其中Shape类属性的预测表现提升幅度最大。针对ABLSTM网络对抽象的Style类属性预测表现提升不明显的问题,本文增加了一个回归模型,使Style类属性的预测召回率提高了约6%。(3)提出了 Advanced ABLSTM网络,该网络在ABLSTM网络基础上使用了基于仿沙漏网络的新特征点预测子网络,并设计了全新的多损失函数。本文设计的新特征点预测子网络引入了空间变换模块对图像特征进行自主学习变换,并设计了“下采样-上采样”的仿沙漏网络对特征点进行学习预测。新设计多损失函数对两个子网络的预测损失进行更新,以更好地训练优化整个网络。DeepFashion-C数据库上的测试结果表明,新的特征点预测网络的预测精确度均远优于对比网络;Advanced ABLSTM网络的性能比ABLSTM网络在五类属性上的预测召回率有4%~11%的提升,尤其是对Shape、Part这两类与特征点紧密相关的属性的预测表现提升显著,同时对Style类属性的预测召回率也超过了针对高层语义属性预测任务的回归模型。
其他文献
不确定性是近年来创业者所面临的创业环境的主要特征之一。创业者生活在不确定的环境中,需要在这种环境下做出有效的决策。弗吉尼亚大学达顿商学院的Sarasvathy教授提出效果推理理论,该理论作为不确定环境中创业者的一种有效决策理论,已经证明会对新创企业绩效有着正向的影响。近年来关于效果推理理论的研究不断深化,但是目前相对缺乏从心理学视角来探索效果推理逻辑如何形成的研究。因此本研究从心理学视角出发,关注
车联网作为物联网在交通运输领域的扩展,可以为交通管理人员和驾驶员提供更具体的路况,交通和娱乐信息,从而极大地便利了车辆管理和路线规划,实现节能减排,确保行车安全,提升社会交通服务的智能化水平。随着车联网的不断普及,用户远程访问车辆数据时会引起大量敏感数据的传输,所以车联网系统应采用认证和密钥协商(Authentication and Key Agreement,AKA)协议确保用户的真实性,保证数
深海蕴藏着约75%的原核生物量,占全球海洋原核生物生产力的一半以上,是生物圈中有机碳再矿化和长期储存的重要场所。过去几十年,科学家已经对深海多种特殊生境(例如:深海海山、热液喷口和冷泉)开展了较大量的研究工作,取得了很多重要进展。然而,由于调查技术的限制,人类对深海中深度超过6000 m的深渊区仍缺乏认识,使其成为目前地球上人类了解最少的海洋环境。已开展的少量研究显示,深渊海沟沉积物具有远超普通深
近些年,随着社会经济的飞速发展和人民对生活质量要求的不断提高,汽车保有量随之呈“井喷”式增长,这给人们的出行带来方便舒适的同时也带来了一系列交通安全问题。面对交通事故造成生命及财产严重损失的趋势,跟随大数据时代的步伐,构建一个道路交通安全态势研判专家系统,使其能够在海量数据充分挖掘的基础上建立全面反映当前道路交通安全态势的指标体系及选择合适的评价方法,客观评价当前道路存在的问题,提出改善措施,减少
税务机关是政府部门的重要组成部分,担负着组织国家税收和调节社会经济的重要职能。随着社会经济的飞速发展,纳税服务已经成为税收工作中非常重要的一个环节。实际工作中,纳税人对税务机关提供的纳税服务褒贬不一,还存在着“工作人员不照章办事”“办税等待时间太长”“办事效率太差”等声音。从L区税务局提升纳税服务满意度角度,进行实证分析和探讨,可以让纳税人享受更快捷、更经济、更规范的服务,提升纳税人获得感、满意度
近年来,随着人们生活水平的提高,旅游产业与文化产业等服务行业开始繁荣发展,为了给旅游产业与文化产业发展提供足够大的动力,国家推出了文化和旅游产业融合发展战略,以此促进文旅产业共同发展。虽然文旅产业融合工作已有了相当大的进展,但是在该工作中还是存在一些问题,为了方便政府有针对性性的制定政策和调整战略,本文研究了文旅产业融合度分析的关键技术。为了研究文旅产业融合度,本文站在了游客角度上构建了测算文旅产
学位
互联网技术的快速发展对人们的购物模式带来了很大的影响,网络购物成为了越来越多消费者的选择,因此产生的电子化数据规模也急剧增长,这些看似杂乱无章的信息中潜藏着无数的商机。从上世纪末开始,如何挖掘到这些隐藏的、有价值的信息就成为了学者们争相研究的重点。相应的,电商平台作为互联网的新兴产物,如果想要跟紧时代信息时代的步伐,通过关注顾客的消费体验来了解消费者的关注点以及影响消费者评论的关键影响因素,就要不
非线性系统的研究一直以来都是最受科学界关注的重点,但由于起步较晚,目前的研究大部分还是针对整数阶无时滞的混沌系统,对于分数阶系统的研究才刚刚开始,尤其是包含时滞项的
随着区块链技术的不断发展,应用区块链技术的领域越来越多,但区块链技术在学业履历存证和共享业务领域的应用还处在较为欠缺的阶段。随着数据量的不断增加现有的使用区块链技术的学业履历系统在履历存证过程中往往会出现效率低、可靠性差的情况;而在履历共享过程中又会出现安全性和共享针对性差的问题。本文依托区块链技术,立足于解决当前履历存证共享过程中出现的问题,提出了基于联合数据分片算法的区块链存证模型和一种学业履
目前国内对于大型钢结构件的喷砂作业主要以人工操作为主,人工喷砂效率低,喷砂质量差、尤其是对操作工人的健康会产生严重影响,因此采用自动化、智能化的机器人代替人进行喷砂作业将成为未来喷砂行业的主要发展趋势。本文主要针对大型钢结构件的机器人自动化喷砂作业,开展了控制系统的研究工作,具体内容包括:多移动式喷砂机器人控制系统设计、多移动式喷砂机器人任务分配研究、移动式喷砂机器人路径规划研究。首先,完成了多移