随着多媒体技术的快速发展和智能设备的广泛使用,产生了大量具有经济价值的多媒体视觉数据,为社会发展和科学进步提供了数据支撑。面对快速增长的海量图像和三维模型,如何高效地检索、利用以及管理这些多模态视觉数据是亟待解决的问题。与文本相比,图像可以传达更丰富、更紧凑的信息。因此,基于图像的跨域视觉数据检索为用户提供了一种更加直观便捷的检索方式,成为当前计算机视觉领域的研究热点。本文以图像和三维模型为数据基础,针对跨域检索任务中数据之间模态异质性和实例对象跨域对应的问题,对基于零样本的草图—真实图像检索、基于草图的三维模型检索、以及基于真实图像的三维模型检索展开深入研究。本文的主要研究内容和创新点总结如下:1.针对草图和真实图像的异质性,以及零样本学习知识迁移的需求,提出了一种基于鉴别对抗学习的跨域检索方法。该方法采用对抗学习的思想消除跨域图像之间的模态异质性,实现域对齐;然后通过特征分类器和深度度量学习,为跨域图像数据生成统一、鲁棒且具有鉴别性的特征表示。在通用数据集上的检索实验结果表明,所提方法具有更好的检索性能。2.在基于草图的三维模型检索研究中,现有方法大多数采用多视图的表达形式描述三维模型,并未发挥其具有多种表达形式的优势。针对上述问题,研究了三维模型点云及其多视图特征之间的关联关系,提出了一种基于特征相关性和特征差异性的三维模型多模态特征融合方法,并将其与流形排序算法相结合,设计了一种基于流形排序和多特征空间的方法实现草图与三维模型的跨域对应。三维模型多模态特征融合方法捕捉三维模型多模态特征之间的相关性和差异性,然后采用基于多头注意力的策略实现多模态特征融合,为三维模型提供了更全面、更丰富的特征表示,也为基于草图的三维模型检索方法研究奠定了基础。在通用数据集上基于模型的三维模型检索结果表明该方法通过融合点云和多视图特征,实现优势互补,可以增强特征的表达能力。基于流形排序和多特征空间的方法通过卷积神经网络、基于鉴别对抗学习的特征学习方法,以及基于特征相关性和特征差异性的三维模型多模态特征融合方法构建不同特征空间;然后通过连通图模拟草图和三维模型之间的关系;最后通过流形排序算法传递跨域视觉数据的相似性,得到草图与三维模型之间的相关性。在通用数据集上的检索实验结果表明,该方法的多个评价指标参数优于现有方法。3.现有基于图像的跨域视觉数据检索方法针对单一类型的跨域检索任务设计,其有效性未在多种类型的跨域检索任务上得到验证。针对上述问题,提出一种基于全局特征相关和特征相似的跨域检索方法,适用于基于草图的真实图像检索任务、基于草图的三维模型检索任务、以及基于真实图像的三维模型检索任务。该方法采用对抗学习的思想消除跨域视觉数据之间的模态异质性,实现域对齐;然后通过全局特征相关性学习、在多个特征空间中挖掘并传递特征之间的相关性;同时,通过特征分类器和相似性学习增加类内特征的相似度和类间特征的分离度。在三种类型的跨域检索任务中的良好的检索性能说明所提方法的有效性和泛化性。