自2012年Alex Net[1]结构在ILSVRC比赛中展现出绝对优势以来,卷积神经网络（Con-volutional Neural Network,CNN）成为机器学习领域备受关注的研究对象。随着在NVIDIA等公司推动研发下的计算机运算能力的不断增强,越来越多的大型卷积神经网络如VG-GNet[2],Inception[3],Res Net[4],Dense Net[5],SENet[6]凭借其复杂的网络结构与强大的特征表达能力,在图像识别、目标检测、自然语言处理等人工智能（Artificial Intelligence,AI）任务上取得了巨大成功。虽然基于深度学习的图像算法技术相对已经比较成熟,但在实际应用场景中,仍然会由于图像背景复杂、目标物体轮廓模糊、不同类别目标纹理差异不明显等干扰因素的影响,导致卷积神经网络提取的全局特征不足以很好地表达图像信息,从而产生判别错误、无法判别等问题。且随着越来越多人工智能应用的落地,智能产品在人们生活中广泛普及,单一的图像AI技术越来越无法满足人工智能交互产品领域的需求。本文从实际工程项目背景及需求出发,选择图像理解层面的图像分类、目标检测和视觉问答这三个任务作为基本对象层层递进来进行多特征融合网络的研究和设计。本文的主要工作如下:（1）针对图像分类任务,基于对通过卷积神经网络所提取的图像全局特征表达能力仍有所欠缺这一情况的考虑,本文从大米分类这一项工程的项目背景和实际需求出发,在卷积神经网络中引入手工设计的局部特征描述算子,设计了一种融合图像传统局部特征的多特征融合分类网络,通过实验比对证实了该方法的有效性,并将该多特征融合分类网络成功应用至实际工程项目的落地上。（2）针对目标检测任务,本文从实际工程应用背景出发,面向目标检测任务进行多特征融合网络的研究。基于对图像分类任务的多特征融合网络的研究,本文将这一思路应用至目标检测领域,设计了一种在图像深度全局特征上融合图像传统局部特征的多特征融合目标检测网络。并通过实验设计证实了该方法的有效性,本方法在目标检测领域的2个通用数据集上均有不错的表现。同时,我们还将该研究算法与多项工程项目相结合,利用迁移学习[7]的办法,将该算法成功部署至实际应用。（3）针对视觉问答任务,基于视觉特征与文本特征无法很好融合这一问题的考虑,本文面向视觉问答任务,基于预训练的办法,提出一种在BERT[8]网络结构中引入融合了图像全局特征与图像局部特征的视觉信息的模型算法,使得视觉与文本这两种跨模态信息能够较好地被融合表达。同时,本文还在该多特征融合视觉问答网络的视觉特征中融合以目标对象的坐标位置信息。我们在视觉问答领域最为通用的VQA v2.0数据集上,对本文所提出的面向视觉与文本这两种跨模态信息的多特征融合网络进行了实验评估与测试,相较于目前其他的主流方法,我们的方法得到了更好的结果,充分证明了这一方法的有效性。