相似度学习作为机器学习算法的一种,其目的在于自动并且准确的衡量输入样本之间的相关性。在人工智能领域,相似度学习在信息检索、多媒体和知识图谱构建等实际任务中已经取得了广泛的应用。但是传统的相似度学习方法往往仅从单一角度来衡量输入样本之间的相关性,在面对现实任务中的复杂模式时缺乏足够的表达能力。并且其参数和相似度的学习过程都缺乏可解释性,不符合人类的认知,对未来算法的改进没有积极作用。因此针对上述问题,为了更深入的研究机器学习和人工智能,本文从数据和模型两个角度对多模态相似度学习方法进行研究,包括非监督的表示学习和有监督的多模态相似度学习。本文的具体研究内容如下:(1)首先对多特征融合进行研究,提出一种基于局部投票的多特征融合方法。该方法打破了传统特征融合手段对每个单一特征的整体进行加权的局限,从不同特征的内部结构着手,对每种特征的有效局部结构进行投票加权。最终获得的多特征融合的结果在保留了每种特征的有效局部结构的同时,突出了数据有效信息,并且忽略了不同特征中的无效局部结构,去除了数据中的冗余信息;(2)其次对表示学习进行研究,将基于深度学习的表示学习方法和多特征融合方法进行结合。传统的深度学习方法虽然已经成为了表示学习的主流方法,但是并没有考虑输入数据的本身性质。利用多特征融合结果所包含的输入样本的不同物理和统计特性来指导卷积神经网络进行基于多特征卷积的表示学习,可以进一步提高表示学习的效果,同时避免了学习过程中的过拟合问题;(3)接着对多模态相似度学习方法进行研究,根据样本数据中所包含的不同物理或者语义意义,定义了不同的关系向量,将样本和样本之间的单模态相似度计算转化为样本和样本在不同关系下的多模态相似度计算,并且根据不同实际情况提出了不同的相似度计算方程,同时将平层的关系结构拓展成基于语义的层级关系结构,使得样本之间的相似度计算具有层级语义特性;(4)之后对复杂样本中不同内容给予不同注意力的问题进行研究,分别引入了注意力机制和外部记忆选择。其中注意力机制与人类的感知系统相类似,外部记忆选择与人类的学习过程相类似。注意力机制可以根据具体的实际需求给予输入样本中不同区域以不同的注意力权重,突出更加符合需求的内容。外部记忆选择可以根据之前已经学习到的初始学习结果指导当前的相似度学习,并根据实际情况分配不同的注意力权重,同时利用当前的相似度学习来更新之前学习到的初始记忆;(5)最终,将非监督的表示学习和有监督的多模态相似度学习整合在一个完整的深度结构之中并进行参数精调,利用表示学习的结果更新相似度学习过程中的参数,同时利用相似度学习过程中的参数更新表示学习的结果,最终达到最优解。实验证明了本文方法的有效性,同时不同的实验结果展示也体现了本文方法参数和计算过程的可解释性,体现了本文算法和人类的认知具有一定的共同点。