随着互联网技术的发展和多媒体设备的普及，人们每天在互联网上要发布、分享和传播成百万上千万的多媒体数据。相对于传统的文字媒体，多媒体技术往往能更直观而生动的表现出其想表达的内容。然而同一网站的多媒体信息不能涵盖所有数据模态。所以为了获取完整的信息，互联网用户会需要通过一种便捷而有效的跨模态检索方法来寻找其他模态的信息。在已有的研究中，跨模态检索方法研究缺乏一个良好的数据库作为评测平台，并且已有的检索方法没有利用网络信息中独有的结构信息。　　针对上述问题，本文从构建跨模态数据库和利用网络结构信息进行跨模态检索方法两个方面进行了研究。本文的主要研究内容和核心贡献如下:　　(1)在跨模态数据库方面，本文提出了一种面向网络结构的自顶向下的爬虫策略构建数据库。首先，所构建的数据库选用了500个包含了各种类别信息的种子进行页面采集工作。通过采集页面的超链接，得到更多的种子从而进行自发式可扩展的页面采集。在得到数据后，所构建的数据库对数据进行了特征提取，并对每个数据的类别进行了手工标注。最后得到了一个包含74961个文档的数据库。每个数据库中包含一段文字，和相关的图片信息（图片数量不固定）、网络结构信息（超链接）和分类信息。通过与已有的其他数据库进行对比，本数据库在数据量和完整性上都超过了已有的跨模态数据库。我们在该数据库上对一些经典的跨模态检索算法进行了评测。　　(2)本文提出了一种结合网络结构信息的特征表示方法。通过将数据的特征和网络结构信息相关的特征进行融合，所提方法得到了一种新的数据特征表示方法。在实验部分，本文分别用原始的特征表示和新的特征表示进行了跨模态检索实验，实验证明，本文提出的新的特征表示方法是一种更适合跨模态检索的特征表示方法。　　(3)在跨模态检索领域，本文提出了一个融合网络数据内容信息和结构信息的跨模态检索方法框架。首先，所提方法利用网络数据独有的超链接邻居作为查询扩展的备选项。对于任意一个查询，所提方法将所有由它的出链接相连的页面作为原始的链接邻居。然后通过构建一个链接邻居过滤器来得到判别力强、语义含义丰富的链接邻居作为最终的查询扩展。其次，在查询本身和最终的查询扩展项算法实现中，都使用典型相关分析和核化典型相关分析进行跨模态检索得到每个检索目标的得分。最后，针对每个查询扩展的结构信息，算法框架将对每个查询扩展加以不同的权重，最终输出检索结果。在我们已知的范围以内，本文是第一个提出将网络结构信息加入到跨模态检索方法中的。