随着互联网和计算机技术的日新月异,如今已经进入多媒体大数据时代。数据以文本、图像以及视频等多种模态形式出现。不同模态数据从不同角度展现相同的语义信息,并且联合作用,使事物的表现更加多元丰富。尽管底层表达差异巨大,但由于不同模态数据之间在高维度的语义空间中存在相关性,所以跨媒体检索成为了可能。本文以文本、图像、视频、音频和3D模型五种模态数据为基础,设计实现一种跨媒体检索方法,着重研究检索准确度和检索效率等方面的优化问题。主要研究内容概括如下:（1）提出跨媒体关联计算模型。为解决跨媒体数据由于底层异构存在的“异构鸿沟”,针对多种模态数据,提出一种联合外源知识库的跨媒体关联计算模型。首先通过长短时记忆神经网络对跨媒体数据进行细粒度特征提取,同时从语义角度和分布角度两方面设计损失函数,以最小化损失函数的方式尽可能缩小不同模态数据的类间距离,达到最大化跨媒体数据关联性的目的。同时,针对跨媒体数据集中普遍存在的语义疏松性问题,通过引入外源知识库,提出一种基于关键字的词频-逆文档方法对跨媒体数据的类内距离进行约束,以进一步优化关联学习的准确性。实验证明了所提方法的有效性,在大规模多模态的跨媒体数据集XMedia Net上可以取得较好的检索结果。（2）提出跨媒体异质信息网络构建方法。为提高跨媒体数据的实用性,结合跨媒体数据本身特性,提出利用异质信息网络的方式建模跨媒体数据。通过异质信息网络,将庞杂的跨媒体数据以“图”这种数据结构统一起来,并通过对网络中的边进行剪枝,将构建的网络进行进一步化简,保留性能的同时实现更加精简的跨媒体异质信息网络。同时,针对于网络定义相应的更新策略,包括节点的删除、插入和更新。实验证明,构建的网络能够准确表达跨媒体数据之间的相关性关系,为下一步的研究提供了良好基础。（3）提出基于图嵌入哈希学习的跨媒体检索方法。为优化包含大规模跨媒体数据的跨媒体异质信息网络在进行检索过程中的时间和存储开销,基于哈希检索在检索效率上取得的良好成绩,提出一种基于图嵌入哈希的跨媒体检索方法。以矩阵分解为基础,通过直接用于二进制哈希码的哈希学习方式将跨媒体异质信息网络嵌入到离散的汉明空间中,并尽可能保留其关系完整。实验证明,方法能够在确保检索精度几乎不丢失的情况下,大大提高检索过程中的时间效率,并减少存储的使用开销。综上所述,本文从跨媒体检索问题中“如何检索”和“更好检索”两个方面出发,以跨媒体异质信息网络的构建作为桥梁,连接两方面问题,并在整体上实现了对跨媒体数据的检索优化。实验结果显示,本研究在面对规模庞大,类型复杂的数据集的情况下,能够从以上两方面较好的实现对跨媒体的检索结果和检索效率的提高,具有一定的研究价值。