伴随着科技的进步与计算机视觉技术的飞速发展,基于深度学习的目标检测技术得到了越来越广泛的应用,在各个领域都展现出蓬勃生机。与此同时,也出现了越来越多样化的数据形式,这给目标检测任务带来了难点。可见光单模态数据在部分特殊情况下提供的信息不够充足,基于可见光单模态图像的目标检测任务可能会出现准确率下降的问题,然而越来越多样化的数据形式给这个问题带来了转机。使得可以通过对不同模态的图像数据进行融合的方式,来提高目标检测任务的性能。但不同模态图像的融合方法仍然有待研究,如何使得多模态目标检测模型能更好的结合来自不同模态图像的特征,以达到更好的目标检测效果成了目前研究的热点方向,在理论研究和实际应用这两个方面都具有很高的价值。然而,使用了多模态数据带来了精度上升的同时,也会由于网络模型复杂度的提升,导致实时性有所下降,并占用了大量的计算资源。如何在保证几乎不降低精度的情况下降低模型的尺寸,提高算法的实时性是值得研究的方向。本文主要针对基于多模态图像的目标检测算法进行研究并取得了以下结果。（1）针对基于可见光单模态图像的行人检测算法在夜间光照不足的情况下表现较差的情况,基于YOLO算法,构建了使用可见光-红外光双模态图像作为输入的行人检测算法模型。并按照多模态特征融合过程中的数据级融合、特征级融合、决策级融合的不同融合阶段分别进行实验。随后根据以上几种不同融合阶段均忽略了融合特征图的多尺度问题,以YOLO算法的特征提取网络Darknet在特征提取过程中生成的不同尺度特征图为基础,进行不同尺度上的多模态图像特征融合,并进行多尺度的行人检测。提出了基于YOLO的多模态融合行人检测算法,通过在公开的标准多模态行人检测数据集上与基于可见光的单模态行人检测算法进行对比,证明了使用多模态图像进行目标检测的有效性,并初步确定了基于YOLO的多模态融合行人检测算法架构。（2）针对其他基于多模态图像融合的行人检测算法在特征融合过程中所采用的直接concat的级联融合方式忽略了不同模态差异的问题,精心设计了多模态加权融合模块,以此赋予不同模态图像权重,并引入了CBAM注意力机制。通过在公开的标准多模态行人检测数据集上对所使用的模态加权融合层和注意力机制进行消融实验,证明了所提出的结合注意力机制的多模态加权融合模块的有效性,并使得所提出的基于YOLO的多模态加权融合行人检测算法的精度进一步提高,并与其他多模态行人检测算法对比,证明本文所提出算法的有效性。（3）针对基于YOLO的多模态加权融合行人检测算法由于需要对两个模态数据进行特征提取而导致的网络模型尺寸变大、占用大量计算资源导致的检测速度降低而引起的算法实时性不足的问题,进行了模型轻量化尝试,试验了分别引入深度可分离卷积和引入通道混洗这两种不同思想的模型轻量化方法,并比对这两者的优劣。使得所提出的轻量级多模态加权融合行人检测算法可以在不显著降低检测精度的前提下,降低了模型的尺寸和计算复杂度,有效的提高了算法实时性。综上,本文为了证明基于多模态图像的目标检测算法相对基于单模态图像的目标检测算法的有效性,试验了多种不同阶段的特征融合方法,并根据YOLO算法的特征提取网络Darknet的所提取的特征图具有的多尺度特性,进行了不同尺度上的多模态特征融合。随后引入了注意力机制,设计了模态加权融合模块,对来自不同模态的特征进行模态加权融合,提出了基于YOLO的多模态加权融合行人检测算法,并通过实验验证了此算法的有效性。此外,对该算法进行了轻量化尝试,以在不显著降低准确度的同时提高行人检测的实时性,并取得了一定的成效。