论文部分内容阅读
图像内容的语义表达在图像标注、人机交互和大规模跨媒体检索等多个领域具有重要研究意义。近年来,视觉属性(visual attributes)作为一种中层的图像语义表达方式,在零样本识别、目标类别精细分类和图像检索等应用领域取得了巨大成功。图像视觉属性学习方法依赖于大量的领域相关属性标记图像集,已有的视觉属性标记图像集大多是地面视角的近景图像。随着航空航天光学遥感技术的不断进步,遥感图像的空间分辨率不断提高,遥感场景图像的细节信息更加丰富,精细的语义描述成为可能。然而遥感图像语义学习所需要的标记数据集难以获取,地面调查和用户交互标记的代价非常高,这阻碍了视觉属性在遥感图像上的发展。本文开展面向遥感图像分类的视觉属性迁移方法研究,探索利用已有的地面视角近景图像视觉属性标记集来学习航空、航天视角遥感图像语义表达的可行性。本文开展的主要工作和取得的主要成果如下:(1)针对视觉属性迁移时采用不同低层特征有何差异、需要迁移哪些视觉属性到遥感图像,开展了低层特征评估和视觉属性选择两方面工作。通过遥感图像分类实验对比,量化评估了多种低层特征在视觉属性学习上的效果。基于人的语义理解和属性模型的区分性,从场景属性库SUN attribute中选出了一组用于遥感图像的视觉属性集,为后续的视觉属性迁移奠定了基础。(2)针对基于近景图像训练的视觉属性模型预测遥感图像会产生较大误差的问题,提出了基于无监督子空间变换的视觉属性迁移方法。该方法通过无监督降维构建子空间,并将源域向目标域对齐,减小近景图像与遥感图像特征分布的差异。实验给出了不同子空间对视觉属性迁移的影响。实验结果还表明在对齐后的子空间中进行视觉属性迁移能够提升遥感图像分类精度,减小了特征分布差异对属性模型泛化能力的影响。(3)针对无监督子空间变换迁移方法没有充分利用视觉属性标签信息的问题,提出了基于Fisher区分性子空间变换的视觉属性迁移方法。该方法采用Bregman距离量化源域和目标域特征分布差异,利用源域的标签信息,在区分性子空间中构建和优化视觉模型,并通过迭代减小域之间的差异性,在提升遥感图像分类精度同时,对遥感图像的视觉属性预测更准确。通过对比实验展示了该方法在不同子空间下的效果,度量与分析了不同视觉属性的Bregman距离,实验结果验证了方法的科学性和有效性。实验结果表明经本方法处理后,基于视觉属性的遥感图像分类精度明显提高,视觉属性模型对遥感图像的预测得到改善。