光学遥感影像由于其成像原理简单,图像获取途径丰富多样,获取成本低等优势而被广泛研究,同时,光学遥感影像含有丰富的图像信息,被广泛应用于如城市建设、敌情监测、农林建设等领域。深度学习技术能从数据中有效地提取特征,可通过设计合理的结构优化具体的任务性能而广受研究者欢迎。虽然现阶段将深度学习技术应用于目标检测取得了巨大的突破,但是由于光学遥感影像成像方式所具备的数据特点,导致现有的方法通常存在漏检率高、准确率低的问题。本论文将可变形卷积及可变形池化、非下采样轮廓变换、分组卷积、基于策略梯度的强化学习改进并应用于光学遥感图像目标检测,以提高光学遥感影像目标检测模型的精度及可靠性,从而促进光学遥感影像目标检测技术的发展。本文的主要研究内容如下:1.针对小目标检测困难、目标形变差异大的问题提出了一种基于特征金字塔结构的可变形卷积网络(FPD-RFCN)目标检测算法。本方法通过特征金字塔的方式利用网络的多层特征,改善小目标的检测,同时对不同阶段的特征分别进行可变形卷积,使用可变形卷积提取的特征可以自动学习目标的形变,因此本方法通过网络结构的设计有效的解决了光学遥感影像应用的两大难题,并只引入了少量的计算量与模型参数。使用四组来自QuickBird及吉林一号卫星的数据分别进行实验,并与其他最新的目标检测方法进行对比。实验结果证明了本方法从网络结构设计的角度出发解决遥感影像目标检测问题的有效性,使用本方法获得了国家自然基金委遥感影像大赛的优秀奖及IPIU目标检测比赛的特等奖。目前该算法需要进一步改进网络结构的设计,同时精简网络结构,以在提高精度的同时优化检测速度。2.针对多尺度变换中,非下采样轮廓变换(NSCT)可有效的增强边缘特征,同时为防止变换丢失原始图像中的纹理信息,提出了一种基于NSCT的分组FPD-RFCN目标检测方法。该方法首先利用NSCT进行边缘增强,并对增强后的数据与原始数据进行通道打散的分组卷积,以作为FPD-RFCN的输入。该模型不仅有效的利用了多尺度变换,而且通道打散的分组卷积方式有效的利用了变换前后图像的不同优势。最后使用不同卫星的数据进行了实验,并详细的与其他方法进行了对比实验,实验结果表明了本方法使用分组卷积提取的边缘特征,有利于提高检测精度,申请了国家发明专利。该算法需要进一步优化非轮廓下采样变换,以得到更利于提取图像特征的变换。3.针对当训练数据与测试数据的分布存在偏差时,提出了一种基于强化学习的FPD-RFCN目标检测方法。本方法主要利用强化学习善于从环境中学习以优化长期目标。利用强化学习从图像源域和目标域共同学习数据表示并将数据进行匹配,同时使用深度学习卷积神经网络算法作为目标检测的主体,通过不停的迭代优化,最终收敛到更好的效果。最后,使用四组数据和不同的方法进行实验,实验结果表明了算法可有效的优化模型的训练,降低模型过拟合训练数据的风险,同时将强化学习域适应方法的相关理论及其他实验提交在ICLR2018上(Domain Adaptation via Distribution and Representation Deformation:Training Data Selection by Reinforcement learning。International Conference of Learning Representation)。目前该算法存在的问题是如何优化模型的训练速度。