光学遥感图像的目标检测在民用与军事领域具有重要的研究意义和价值。近年来,随着人工智能技术的快速发展,基于深度学习的光学遥感图像的目标检测方法得到了广泛的研究与应用。相较于自然图像而言,光学遥感图像具有背景信息复杂、目标尺度变化巨大、小目标多且排列密集、目标方向多变等特点,这些均对光学遥感图像的目标检测器的精度提升提出了不小的挑战。本文在此背景下展开深入研究,全文主要研究内容如下:针对光学遥感图像中小尺度目标多且排列密集的情况,本文基于SSD提出了一种基于特征融合和残差注意力机制的目标检测方法。模型通过将小尺度目标及其上下文特征进行融合,为小尺度目标赋予更多的语义信息。通过对提取到的特征应用残差注意力机制,抑制与小尺度目标无关的不必要信息,减少了背景噪声对特征的干扰,提高了模型提取特征的鲁棒性和辨别力。对于目标检测任务中常见的样本不平衡问题,使用聚焦损失函数替代原有的样本分配策略,帮助模型在训练中动态控制具有不同分类表现的样本的权重。其次,通过结合训练效率、中心点距离、纵横比等要素,采用了新的度量方式衡量预测边界框和真实目标框之间的重叠程度。最后为了处理目标排列密集的情况,基于不同边界框中心点间的距离对非极大值抑制算法进行了改进。通过实验,证明了模型整体和各改进措施对于精度提升的有效性,在DIOR数据集上实现了71.1%的m AP。针对光学遥感图像中所含目标具有极大不确定性的问题,本文提出了一种基于极坐标的两阶段无锚框定向目标检测方法。鉴于传统的笛卡尔坐标系在表示定向边界框时存在模型不稳定、训练难度大的问题,使用了五参数极坐标表示对目标建模。在模型特征提取方面,由于现有特征金字塔网络中感受野和输入图像分辨率之间不适配、不同尺度感受野信息缺乏交流的特点,在原有网络的基础上引入密集连接且具有不同扩张率的空洞卷积,从不同感受野中获取上下文信息并进行合并。对于提取特征中的冗余信息,通过自注意力机制进行过滤,提高模型特征判别能力,加强特征表示。最后以一种简单、有效的方式,在不预设锚框的情况下生成高质量定向区域建议。实验结果表明,模型整体相较于其他定向目标检测方法而言可以实现更高的检测精度,在DIOR-R数据集上的m AP数值达到了67.2%。