近年来,随着互联网技术与多媒体技术的迅猛发展和广泛应用,互联网上的多模态数据正呈现爆炸式增长。对海量跨模态数据进行快速有效地搜索正在成为一种新范式。跨模态搜索是指用户输入某个模态的请求,系统从来自不同模态的数据集合中检索与之相关的结果,并返回给用户。传统基于关键字的搜索引擎从需求上和技术上都已经无法满足跨模态数据搜索的要求。针对这一问题,主流解决方案是学习一个映射函数,使不同模态的数据被投射到同一个向量空间当中,并利用传统基于向量空间的索引方法返回相关结果。此类映射函数目标是在映射形成的同一共享空间中,语义相关的对象尽可能接近,而不相关的对象尽量被分开。目前,大多数跨模态搜索方法主要针对搜索请求和候选数据都分别来自单一模态,解决方法是将两个模态数据进行映射来求解问题。对于在线购物这一特定场景,候选商品数据集是由文本及图片多重模态数据组合而成,因此传统方法很难直接应用。为此,我们需要进一步将商品的文本模态信息与图片模态信息进行融合,形成对商品的整体特征描述。在此基础上,利用深度学习手段,将搜索请求与商品特征投射到同一潜在语义空间中,实现相关度的计算。在这一过程中,我们基于深度残差网络,设计了一个面向商品图片的多任务多标签的深度卷积网络,通过这一网络的训练,提取了细粒度的商品图片特征;同时我们也将商品标题文本向量化。在此基础上以张量融合的方式将其与图片特征向量融合,获得商品整体特征向量。于是,同样被向量化的搜索请求便可以直接与商品特征进行相似度的计算。在训练过程中,我们采用了一种pair-wise的方式,以搜索请求-商品点击对作为正样本,并随机抽取不相关的负样本。最后我们在网上购物的真实数据集上进行了测试,验证了面向跨模态商品搜索的深度卷积与特征融合算法的有效性。