随着信息的爆炸式增长,推荐算法可以起到缓解信息过载的作用。然而在推荐算法中,虽然用户和物品数量规模很大,但用户与物品的实际交互数据却非常少。为了有效缓解这一关键数据的稀缺问题,现有的推荐算法大多采用了用户或者物品的边信息来扩大可用信息量。考虑到人们日常生活中获得到的信息都是多种模态的,我们自然可以使用多模态信息作为另一种边信息来改善推荐系统的性能。现有的多模态推荐算法在模态的融合上还是比较简单和直接的,本文围绕融合策略的选取、高阶特征的学习方式开展不同模态的有效融合,并探索知识图谱与多模态推荐算法的结合。首先,自注意力机制可以很好地学习到特征间关系,我们利用这一优势搭建了一个同时利用文本模态和视觉模态进行推荐的算法框架。我们在搭建的过程中发现,现有的多模态推荐算法在选择多模态特征融合阶段时大多采用早期或后期融合策略,但这些策略都不能同时学习并利用融合前的单模态高阶特征信息和融合后的多模态高阶特征信息。针对这个问题,我们提出了一种能同时利用这两种特征信息的中期融合策略,并在搭建的基础算法框架上进行实现。我们的中期策略在经过一次特征学习层后进行特征融合,然后将融合后的特征送入后续的特征学习层。实验结果表明我们所搭建的多模态推荐算法框架确实能够带来更多的信息,并且有着更好的效果表现。其次,不论是针对单模态特征还是多模态特征,现有的多模态推荐算法都使用了相同的特征学习方式,并没有额外地学习这两种模态特征间的关系。针对这个问题,我们尝试在融合两种模态特征前交换它们的特征信息。由于这个交换操作类似于在两种模态间实现一种交叉跨越和互相特征借鉴,我们将该算法称为基于跨模态融合的推荐算法。我们通过对两种模态特征采用内积的方式来计算跨模态权重,以此来挖掘到这两种模态特征间的直接关系并得到包含更多信息的跨模态特征表示。实验表明我们的方法在多个公开数据集上取得了优于现有公开方法的效果。目前有大量的研究关于如何使用知识图谱来传播用户的偏好信息,但只有极少部分关注到了多模态技术在基于知识图谱的推荐算法中的价值。现有的工作大多只关注如何通过引入多模态信息来增强物品的表示,或者只是将多模态特征映射到同一空间然后通过知识图谱传播用户单一的偏好信息,并没有真正地去捕获用户对不同模态特征的细粒度偏好。针对如何利用多模态技术和知识图谱来增强用户表示这一问题,我们提出一种基于知识图谱的多模态推荐算法。我们利用自注意力机制来计算目标物品和用户相关物品间的相似度,并在知识图谱中分别传播两种模态下的用户偏好信息,最后利用相加、拼接和跨模态融合的方式得到增强的用户表示。在公开数据集上的实验结果表明我们算法比现有的算法有着更好的表现。