近年来,随着各类数字信息化平台的兴起与快速发展,各式各样的包含丰富信息的多模态数据的数量呈现出了爆炸性增长,同时针对这些多模态数据的自动化处理与理解的需求也随之而来。多模态数据,即那些包含了多种形式或类型信息（例如视觉、文本等）的数据,如何融合这些不同形式的信息是多模态数据处理与理解的难点。本文围绕多模态数据融合的主题进行了两个方向的探索与尝试:其一是探索层级信息与视觉信息的融合,应用于二手交易平台的个性化商品推荐任务;其二是在尝试通过引入外部知识来引导跨模态融合以提升模型性能,应用于知识增强的视频场景标签预测任务。首先,随着环保和回收意识的提高,二手交易平台近年来越来越受到关注。二手交易平台上的交互数据与传统平台上所不同的是,每个用户有足够多的交互,而每个商品有关的平均交互数极少。因此,在二手交易平台上构建成功的推荐系统需要平衡建模商品和用户偏好,与减轻稀疏性的不利影响,这使得推荐尤其具有挑战性。本文提出了一种从粗细粒度特征中同时学习商品和用户表达的方法,并设计了一种多任务学习策略来解决数据稀疏性问题。本文在一个真实的二手交易平台数据集上开展了实验,实验结果证明了本文提出模型的有效性。本文还将所提出的多任务学习策略应用于几种较为先进的方法,而它们都取得了很大的性能提升,验证了本文所提出的多任务学习策略的有效性。而另一方面,随着视频数据量在各类应用的飞速增长,针对视频获得其有代表性的隐式表达对于视频理解任务来说变得愈发重要。本文研究了视频场景识别问题,其目标是学习一种高阶的视频隐式表达用以对视频中的场景进行分类。由于现实场景中视频内容的多样性和复杂性,这项任务仍然是一个挑战。大多数现有研究仅从时序角度基于视觉或文本信息来识别视频场景,不同程度地忽略了隐藏于单帧的有价值信息,同时另一些早期研究仅从非时序角度识别单张图像中的场景。本文认为,这两个视角对场景识别这项任务来说都是有意义的,并且是可相互补充的,同时,引入外部的知识也可促进对视频的理解。本文提出了一种新颖的双流框架模型,从多个角度（即时序和非时序角度）对视频表达进行建模,并通过自蒸馏来以端到端的方式融合这两个角度。此外,本文还提出了一种知识增强的特征融合和标签预测方法,有助于将知识自然地引入到视频场景识别任务中。本文在真实的视频场景数据集上开展了实验,实验结果证明了该方法的有效性,同时消融实验也验证了模型各个部分的有效性。