多源图像融合技术将同一场景的异源图像信息整合到单幅图像,使融合图像包含了多源图像的互补信息,辅助工程系统做出更加精确的后续处理;其在无损检测、生物传感器、军事监测、临床诊断和遥感等领域均得到了广泛应用。传统的多源图像融合方法通过人工设计复杂的活动水平测量和融合规则来提升图像融合质量。在实际应用中,传统方法需要相应地调整融合策略来适应复杂、多变的应用场景。因此,传统方法的算法复杂度高,实现相对困难,通用性不够好。而基于深度学习的多源图像融合方法通过深度神经网络来提取图像特征信息、重构特征信息,利用损失函数约束整个网络获取源图像中的有效信息,并通过扩大训练数据的数量与种类来提高模型的通用性,训练过程无需人工干预,实现过程更加简单、智能。现有基于深度学习的多源图像融合方法虽取得了理想的效果,但在损失函数、网络结构与训练集的设计上仍存在提升的空间。针对上述3个方面,本文结合PET/MRI医学图像融合、多曝光图像融合以及红外/可见光图像融合3种应用场景,分别设计了相应的基于深度学习的图像融合方法。论文的主要工作包括以下4个部分:（1）提出了一种基于Wasserstein生成对抗网络的图像融合方法（MWGAN）,用于正电子发射断层扫描（positron emission tomography,PET）图像与核磁共振（magnetic resonance imaging,MRI）图像的融合。该方法采用了Wasserstein生成对抗网络代替传统的生成对抗网络,使训练过程更加稳定。在传统生成对抗网络结构的基础上（单判别器）,采用了双判别器结构。在生成器和2个判别器之间建立了2个对抗关系,这两种对抗关系使融合图像能同时保留源图像的有效信息,包括MRI图像中器官软组织结构细节,PET图像中的功能和代谢信息。由于医学应用场景具有多样性和复杂性的特点,对异分辨率医学图像融合的需求也在增加。本文设计的MWGAN能处理异分辨率的MRI/PET医学图像。在实验验证部分,设计了消融实验用于验证WGAN网络对融合效果的提升;设计了对比实验用于验证MWGAN的优越性。（2）设计了一种端到端的多曝光图像融合方法（GANFuse）。针对多曝光图像融合的特点,该方法在MWGAN的基础上进行了改进,使得GANFuse更加适用于多曝光图像融合场景。具体的改进如下:改变了判别器的输入方式,将源图像和该图像在融合图像中的贡献作为判别器的输入。此判别器输入方式使生成对抗网络的对抗性更加激烈、生成器训练得更加完善,融合图像能保留更多的源图像信息。可见光图像的有效信息包括纹理细节信息和光照强度信息。为了在融合图像中保存这2种信息,本文改进了原有的损失函数,将梯度损失和像素强度损失作为损失函数来约束整个网络。在多曝光图像融合实验中,通过消融实验验证了网络结构改进的有效性,通过对比实验验证了GANFuse的先进性。（3）提出了一种基于密集连接网络的红外/可见光图像融合方法（TPFusion）。为了红外图像中热辐射信息和可见光图像中纹理细节在融合图像中得到更好地保留,本文首先提取了红外/可见光图像的细节信息。将提取的细节信息作为辅助信息与源图像输入至后续的网络中进行融合。然后,分别采用两个密集连接网络来提取二者的特征信息,并根据特征信息的特点有针对性地设计了损失函数。最后,将融合后的特征信息通过预先设计的融合规则进行重构。在实验部分,设计了相关的网络结构消融实验以及对比实验,验证了TPFusion的有效性与先进性。（4）设计了车辆辅助驾驶系统中多曝光图像融合与红外/可见光图像融合的工程实验,具体包括:采集数据来模拟车辆行驶的场景,将本文提出的多曝光图像融合方法（GANFuse）用于提升车辆行驶场景中图像的动态范围;利用深度学习网络模型分别对可见光图像与红外可见光/融合图像的行人目标进行识别。工程实验结果表明,多曝光图像融合技术可以提升车辆辅助驾驶系统中图像传感器的动态范围;红外/可见光图融合技术可以有效提高车辆辅助驾驶系统的行人目标识别精度。