目标检测是遥感图像解译领域的重要任务和研究热点之一。随着传感器的发展，遥感图像分辨率越来越高，遥感图像目标解译需求越来越明显。如何在复杂的背景中迅速找到尺寸比较小的目标以及如何高效检测出处于部分遮挡情况下的目标是亟待解决的难题。目前主流的基于深度学习的目标检测方法对于处理大尺寸目标优势很明显，然而将这些算法直接应用到遥感图像中时其性能会显著下降。针对这些情况，本论文在基于区域特征的卷积神经网络两阶段目标检测模型基础上，从数据预处理、卷积特征提取网络结构和损失函数三个方面入手，创新性地提出了用于解决小目标和部分遮挡目标检测的形变Faster RCNN检测框架。
　　本文的主要工作及其创新点如下：
　　1、提出了基于全卷积网络结构和跳层连接的Fast RCNN目标检测模型。论文在对Fast RCNN中的特征提取器和按区域的多层感知机分类器进行彻底的分析基础之上，详细推导了存在卷积层和池化层并行结构的全卷积网络结构（主要是Inception网络及其变体）中的输入输出关系，指出Fast RCNN框架在利用这类全卷积网络结构作为主干网络时其输入图像尺寸必须满足一定的条件；然后基于HyperNet网络结构的思想提出采用跳层连接方式对卷积网络特征提取器进行多层特征融合，从而使得最后提取的特征既有高层语义信息也包含了底层视觉信息；最后对按区域的多层感知机分类器深入研究并从实验得出基于区域的两阶段目标检测算法只要仔细设计按区域的分类器可以一定程度上提高目标检测性能，使得对基于区域候选的两阶段目标检测框架的整体架构有着更深刻地理解。
　　2、提出了基于自顶向下的共享特征网络结构的光学遥感小目标检测。首先，针对遥感目标尺寸小的特征，深入分析Faster RCNN的共享特征提取网络结构，提出一种自顶向下的网络结构单元对多个阶段的特征进行融合以生成尺寸更大的特征图，并通过无监督聚类方法设置锚点的预设尺度和长宽比使之更加符合数据集的目标分布，从而在保持较高的小目标召回率的情况下尽可能多的捕获疑似小目标的候选区域；其次，针对ROI Pooling层中存在两次量化操作造成的小目标候选特征图区域匹配误差大的问题，将其替换成ROI Align层，降低量化操作所产生的误差，从而提高小目标分类和回归的准确度；然后提出一种编码方式来利用候选区域的邻域上下文区域，增强对小目标的特征；最后在数据预处理阶段，针对数据集中图片少以及存在严重的类别不平衡问题设计一种简单的数据集平衡采样方法，从而实现数据集的有效扩增。
　　3、提出了基于聚集多层卷积特征的形变Faster RCNN的光学遥感部分遮挡目标检测。首先将前面所提出的自顶向下的特征融合网络结构与形变卷积嵌入到共享特征提取阶段来建模光学遥感目标的几何形变，使得所提取的特征包含丰富的的几何形变信息。然后针对类间遮挡的情况提出一种随机覆盖算法来扩增不同遮挡情况的目标，其随机性能够保证对于各种遮挡条件的泛化能力；针对类内遮挡提出将RPN阶段的边框回归损失函数替换成用于解决人群遮挡的排斥损失函数，在实验中从另外的角度分析其对于类内遮挡的有效性。为了进一步提高小目标的性能，进一步分析了RPN阶段所采用的自顶向下的网络结构单元的数量与锚点之间的内在联系，并且采用在线难例挖掘算法来引导网络的训练，使得最终的实验效果显著提升。