基于迁移学习与深度卷积特征的图像标注方法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:racheal2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网技术的快速发展,越来越多的图像信息被以数字方式存储到互联网上,图像已经成为文本之后又一个重要的网络信息载体。目前每天上传到网络上的图片数以亿计,面对如此海量的图像大数据,如何快速而准确的检索出所需要的图像资源是一个十分重要并且极具现实意义的研究课题。图像语义自动标注是基于文本的图像检索技术的核心研究内容,其本质是利用已标注的图像集自动学习语义概念空间与视觉特征空间的映射关系模型,并用此模型标注新图像。针对传统人工设计的视觉特征的局限性,以近年来深度卷积神经网络在图像处理领域所取得的成果为基础,并在互联网图像大数据的驱动下,本文主要围绕深度卷积神经网络的特征自学习能力如何在图像标注中被有效利用展开研究,重点关注深度卷积特征在图像单标签标注、多标签标注和多特征融合标注三方面的内容,主要工作概括如下:(1)针对特定应用领域数据集已标注图像样本数量不足的问题,利用相关领域的图像大数据集,提出了基于迁移学习的深度卷积特征学习方法。该方法主要针对规模不大,样本数量有限的特定领域数据集使用深度卷积神经网络时容易产生过拟合而导致无法训练与学习的问题;通过迁移学习的方法,首先利用互联网上的大型公共图像数据集对深度网络进行预训练,以学习图像的底层通用视觉特征;然后利用目标数据集对网络参数进行微调,进而学习图像的中高级视觉特征;最终的实验结果表明该方法使小规模图像数据集使用深度学习的方法成为可能,并且有效的提升了图像的分类与标注性能。(2)针对图像数据集中相似度较高的类别之间容易产生样本误分类的问题,基于迁移学习与精细分类的思想,提出了两级层次特征学习的图像分类与标注方法。通过对预分类实验数据的分析,实验表明大部分标注错误的样本都产生在相似度较高的图像类别之间;为了能够尽量减少相似样本的误分类数量,本文首先根据通用特征将具有较高相似度的图像类别划分到同一个子集;然后利用深度卷积神经网络的特征学习能力,提取相似度较高的图像类别之间的差异特征;最后整合通用特征与差异特征,进而提出了基于两级层次特征学习的图像标注方法,有效的提高了图像的标注精度。(3)针对多标签图像全局特征提取困难与表示能力不足的问题,通过修改网络的损失函数,提出了基于深度卷积特征的多标签图像排序方法。为了将深度卷积神经网络的特征自学习能力扩展到多标签图像标注任务中,本文修改了用于单标签分类的网络模型的损失函数,采用多项逻辑斯特损失以适应多标签图像数据,并重新训练了网络;最后提取到更具有全局特征表示能力的深度卷积特征,并基于该特征对图像多标签进行排序,从而更完整的标注了图像的语义信息。(4)针对图像大数据背景下,如何充分利用多源异构图像特征的问题,提出了基于多核学习的多特征融合图像标注方法。大数据时代的图像资源除了图像本身以外,通常还可以获取与图像相关的拍摄时间、位置、经纬度、高度、周边环境等信息;针对图像的语义标注任务,本文将与图像相关的描述性信息也转化为图像的基本特征之一,并与深度卷积特征相融合,提出了基于多核学习的多特征融合图像标注方法,实验结果表明该方法能够更充分和准确的反映图像的语义信息。
其他文献
心理安全感是影响个体心理健康的重要因素。本研究旨在通过调查心理安全感和大学生压力、心理弹性的现状,进一步分析大学生压力、心理弹性与心理安全感之间关系,探讨心理弹性
为优化稻壳多糖的微波辅助酶法提取工艺,在单因素实验的基础上,选择纤维素酶添加量、微波功率及料液比3个因素的Box—Behnken中心组合实验设计,以多糖得率为响应值,采用响应面分
党的十八大以来,我国经济逐步进入新常态,对企业发展而言,是挑战也是机会。国际内部审计协会将内部审计、审计委员会、管理层和外部审计作为公司治理的四大基石,因此,企业内
目的 :探讨通降胃灵 号片 (简称通 片 )治疗运动障碍样消化不良的疗效和作用机制。方法 :选择4 10例运动障碍样消化不良患者 ,分为通 1片治疗组 30 4例 ,吗丁啉对照组 10 6
采用非线性动力有限元法建立了复合板在爆炸焊接过程中的有限元计算模型,对复合板运动状态进行了模拟和分析。利用有限元软件的网格划分功能建立了5/41mm×3850mm×665
改革开放40年来,我国的学校教育发展经历了四个阶段:1979-1985年的拨乱反正,学校恢复整顿阶段;1985-1992年全面开展教育体制改革阶段;1992-2003年市场经济条件下的学校改革阶
本文报告1例暂时性高苯丙氨酸血症患者,经10个月临床观察和对血中二氢喋呤还原酶(DHPR)及尿中喋呤谱进行分析。控制病婴食物中苯丙氨酸(phe)的含量,发现在8个月后,恢复自由饮
为研究艇后非均匀流场中大侧斜螺旋桨无空泡负载噪声的分布规律,文章采用"CFD+BEM"法,以SUBOFF潜艇后某大侧斜桨为研究对象,首先稳态计算均匀进流下螺旋桨敞水特性,模拟系数
受电弓噪声是高速列车的主要噪声源之一。随着列车速度的提高,受电弓气动噪声随之增加,会加剧对乘客以及沿线环境的不利影响。因此,需要尽量降低高速列车受电弓的气动噪声,改
忽略流失的顾客.意味着企业不仅失去顾客.失去相关的利润及市场份额.还失去了进一步改善产品和服务以及学习与创新的机会。那么,怎样才能有效赢回这些顾客?