图像融合是一种图像增强技术,通过将不同类型的传感器获得的图像组合起来,从而生成具有丰富信息和鲁棒性良好的融合图像,以便后续的图像处理。图像融合技术广泛使用在军事、遥感、安全监控和医学图像等领域。融合方法设计的关键是高效的图像信息抽取和合适的融合规则,并且要避免人工因素对融合结果的影响。传统的图像融合算法基于手工设计融合规则,算法复杂且运行速度慢,泛化能力及鲁棒性较差。随着深度学习在图像融合上的应用,避免了手工设计融合规则。生成对抗网络GAN（Generative Adversarial Networks）作为深度学习在图像融合上的典型应用,其通过生成器提取红外与可见光的特征进行融合,通过与鉴别器进行对抗,优化生成器训练。由于缺乏有标签的数据,以往的图像融合网络几乎都采用无监督方式训练,而部分无监督方式却难以平衡红外与可见光图像两种模态,因此合成一批红外与可见光图像进行有监督的网络训练是有必要的。本文的主要研究内容如下:（1）在以往的融合网络中,无监督训练是图像融合的主流方法,由于缺乏有标签的数据集,没有GT（Ground Truth）指导融合。为了克服标签缺乏这一困难,本课题合成一套带有GT的红外与可见光数据集来指导网络的训练。本研究使用来自纽约大学的RGBD数据集NYU-Depth作为合成图像的基础数据,通过光传输模型,根据红外热辐射成像机理,红外图像对天气抗干扰能力强的特性,以及深度图模拟光在传输的损耗来模拟红外图像以及可见光图像。（2）由于没有真实融合图像作参考,现有的图像融合方法缺少融合图像作为监督条件,基于监督学习的训练方法难以应用于图像融合,现有的融合网络都是尽可能的在两个模态间找到平衡。基于此,提出一种基于光传输模型的红外与可见光图像融合方法,基于合成的数据集在条件GAN中设计边缘和细节损失函数,用合成的多模态图像数据集以端到端的方式训练该网络,最终获得一个融合网络。该网络可以使融合图像较好的保留可见光图像的细节和红外图像的目标特征,锐化红外图像热辐射目标的边界。在TNO公开数据集上与主流的IFCNN,Dense Fuse,Fusion GAN等方法对比,通过主观和客观的图像质量评价检验了该方法的有效性。所提方法在红外与可见光图像和多聚焦图像融合中都取得了较好的融合效果。（3）由于红外和可见光成像特点的不同,在红外图像中拥有更多的轮廓结构信息,在可见光图像中拥有更多的纹理细节信息,在以往的融合框架中,会将红外和可见光图像堆叠放入神经网络中训练,提取通用特征,忽略了红外和可见光的各自特征。因此在有监督的融合框架下,通过深度卷积对抗网络DCGAN（Deep Convolutional Generative Adversarial Networks）来分别获取红外的结构信息和可见光的纹理信息,然后交换红外图像与可见光的纹理信息进行融合。在此基础上将生成器的结果与鉴别器进行博弈,最终生成融合图像。在TNO公开数据集上与主流的融合方法对比,通过主观和客观的图像质量评价检验了该方法的有效性。