在智能驾驶过程中,雨天、雪天、雾天和微光夜视等不良环境容易造成相机传感器成像质量差,目标辨识度低的问题。单一的传感器无法满足伪装、隐身目标的检测要求。偏振成像技术可以细致描述目标的局部纹理信息,缺点是微光环境下几乎无法成像。红外热图像支持全时段工作,但细节特征偏少。工业相机成像过程易受外部环境的干扰,但色彩信息更符合裸眼的视觉观测习惯。融合多源图像的全景信息能够更全面地表征目标的特征,提升检测的准确率。本文根据不同的任务需求,提出三种围绕偏振图像的多源图像的融合算法。主要工作内容如下:（1）针对多源图像采集过程中同步性差和配准难度高的问题。本文利用Matlab的Time定时器对相机数据流同步抓图,同组数据时间误差稳定在毫秒级。针对红外热像仪温度敏感的特点,本文利用加热的特殊标定板完成多源相机标定和粗配准,并改进了互信息配准算法,满足像素级融合的精度需求。（2）为了改善偏振图像的目标检测性能。本文提出一种基于NSCT和CNN的偏振数据融合算法。针对偏振角信噪比低,边缘马赛克化严重的问题,本文使用引导滤波器滤除偏振角噪点,PCNN增强边缘特征。之后,偏振度和偏振角图像在小波域上分解,并采用低频分量加权平均和高频区域特性能量的策略融合特征图像。最后,特征图像和偏振强度图像在NSCT上解构,低频分量采用区域特性能量融合策略,高频分量上利用VGG网络提取特征和ZCA白化降冗余的融合思路,不同频率分量经过NSCT逆变换重构出融合图像。实验结果表明:经本文融合算法处理的数据清晰度提升了35.1%,平均梯度提高了93.8%。（3）针对微光、雾天情况下偏振图像亮度较低和色彩缺失的问题。本文提出一种基于局部颜色迁移的偏振图像与RGB图像融合算法。首先在HSV颜色空间上,利用RGB图像颜色矫正偏振图像的色调信息和饱和度信息。然后在Lab颜色空间上,引入二分k-means聚类算法将RGB图像和偏振图像分割成三类区域进行局部颜色迁移,融合图像最后转换到RGB颜色空间。实验结果表明融合图像与人眼视觉感知习惯一致,经过Faster R-CNN网络的测试,融合图像中车辆和行人的AP值相比RGB图像分别提升了9.8%和10.7%。（4）在驾驶过程中,针对目标检测实时性要求高的特点,本文提出一种ACF积分网络融合多源图像特征信息的方法。首先将RGB图像作为基准图像,红外热图像和偏振图像分别作为拓展通道图像融合。双模态特征融合可将单幅图像平均对数漏检率分别降低3.4%和2.2%。然后本文选择将红外图像融入基准图像的LUV亮度通道,偏振特征图像作为拓展通道的特征融合策略。经过实验验证,三模态特征融合可将单幅图像平均对数漏检率降低8.43%。综上,本文根据任务需求,自主搭建了多源图像同步采集平台,制作了三模态数据集。然后深入分析数据的特点,并根据不同的任务需求提出三种融合策略,其中两种算法在数据集上测试取得了良好的识别效果。