伴随着计算机网络和多媒体技术的发展,人们不仅仅满足于用单模态数据来描述一篇文档,包含多种模态的多媒体文档越来越频繁的出现在网络中,因此跨媒体检索也越来越受到人们的关注。由于直接把不同模态底层特征映射到同维空间会损失大量信息,并且同维的不同模态特征所表达的意义也差异巨大,据此提出了基于隐藏层语义关联的跨媒体检索方法。该方法首先借鉴了深度学习的思想,通过深度网络模型来完成底层特征到隐藏层特征的映射,其中深度网络模型通过栈式自编码以及误差反向传播技术构建。接着引入典型相关性分析来关联不同模态的隐藏层特征,典型相关性分析能够在保持不同模态特征最大相关性的基础上把不同模态的特征映射到一个同维空间,使得通过典型相关性分析关联后的不同模态的隐藏层特征具有同维度,且具有相近的意义表达。然后通过Softmax回归模型对关联后的隐藏层特征进行语义分类学习。最后通过特征与语义相结合的检索算法来进行跨媒体检索。为了验证方法的有效性及可行性,在wiki百科数据集上进行了实验对比。实验表明,通过深度网络模型获取的隐藏层特征相对于原始底层特征在语义分类以及跨媒体检索上都有更好的效果。实验也验证了隐藏层特征与语义相结合的检索算法比仅考虑语义或者特征的检索算法具有更好的效果。