随着我国航天事业和遥感卫星技术的大力发展,光学遥感图像的分辨率有了很大的提高,图像信息变得丰富。这对光学遥感图像在农业生产、环境监测、军事侦察等领域的应用有了更大帮助,同时伴随而来的是信息处理的多样性和复杂性,提取关键遥感影像信息就变得尤为重要。目标检测作为遥感图像的重要手段和主要研究热点之一,发挥着举足轻重的作用。尤其随着近些年深度学习的火热,帮助机器视觉领域开拓了更宽广的道路,这其中基于卷积神经网络的目标检测算法的发展更是日新月异。其相比于传统目标检测算法有着更强的学习能力和泛化能力,在自然图像的处理上发挥出了更高效的作用。所以,本文使用了两种不同的基于深度学习的目标检测方式用于光学遥感图像的目标检测,主要研究内容如下:(1)针对于以YOLO为代表的单阶段端到端的目标检测算法存在的小目标检测效果差的问题,我们采用了密集连接和多尺度特征融合的方法,这其中主要借鉴了特征金字塔网络的多尺度结构,并且针对容易丢失特征信息的下采样过程借鉴了Inception结构实现多通道降维,进一步保留了特征信息。为了使得网络仍可满足实时性,我们删减了部分网络层,并使用密集连接的方法进行特征传递。在不增加参数量的同时,保证深层特征的获取。最后,我们使用了Kaggle比赛中的舰船数据集进行了训练测试,并对数据集里舰船的大小做了聚类,用于设置生成锚点框的大小,使网络可以更快的收敛。和原YOLO算法对比提高了准确率,并使得检测速度可达到23FPS。(2)提出了一种基于旋转检测框的目标检测方法,其框架是基于目标候选区域分类回归的二阶段检测模型,相比直接回归的检测算法,它有着更高的检测精确度和可扩展性。而我们主要做了对目标检测框的旋转操作,这其中包括了旋转区域候选网络,旋转锚点框的设计,感兴趣区域池化的旋转操作等。另外我们对不同种前特征提取网络进行对比测试,选取了精确度最高的Inception-Res Net V2作为主干网络,并增加了多层上采样模块,实现了底层特征和更高层次的特征相融合,并且让不同层融合后的特征图达到并行检测的手段,多余的检测结果通过非极大值抑制去除,进一步提高了检测精确度和检测框与真实目标的Io U值。之后,我们建立了一个十类的目标场景旋转矩形标注数据集,在此数据集上对改进后的网络进行了训练测试,并对比了不同旋转矩形检测框算法,证实了其算法的合理性和可靠性。