近年来,随着目标检测技术的不断发展,对于普通场景图像的目标检测能力已经取得很大进步,然而在遥感图像中,目标往往是微小且分布密集的,而这些场景却往往有着更多的工程应用意义。因此本文重点研究了基于深度学习的高密度目标检测算法,本文主要研究内容如下:在光学遥感图像中目标密集分布的情况下,提出一种基于改进注意力机制和多层特征融合的Faster R-CNN模型,并在三种光学遥感数据集上展开研究。首先,为提高模型对目标的专注程度使检测结果更精确,在特征提取阶段使用Res Net结构并在网络的第五层引进改进的AAFM注意力机制,通过结合空间注意力和通道注意力的策略实现网络对通道特征的学习。其次,为解决遥感图像场景中目标尺度不一问题对检测结果的影响,引入特征融合模块,通过L2范数归一化、特征连接、尺度缩放、特征降维实现了高层语义特征与低层细节特征的特征融合。最后,为解决密集目标检测中存在的目标重叠遮挡而漏检的问题,改进了传统的非极大抑制方法,提出一种新的后处理算法DT-NMS。该模型在UCAS-AOD数据集、DOTA数据集和DIOR数据集上分别取得了92.4%、83.7%和81.9%的检测精度,且具有良好的通用性和迁移性。上述算法仅针对解决光学遥感图像的密集场景目标检测,因此对于航拍图像密集场景检测时精度不高不能满足实时性要求的问题,提出了一种改进Retina Net算法,重点解决无人机航拍目标检测中目标小而密集的问题,同时保证检测速度。为更好地检测目标,首先,在金字塔网络中加入新的高分辨率特征图,从而利用低层特征丰富的语义信息检测小目标,然后,引入了平衡因子重新平衡了各层损失。最后,设计了一个简单却有效的查询分支用以估计目标的大概位置然后指导其在高分辨率特征图上的检测,该查询分支有效的节省了计算量。该模型在保证检测准确率的前提下,可以极大地加快检测速度,避免了低层特征图上的计算浪费,提高了模型的检测性能。为验证模型的有效性,我们采用Vis Drone2019数据集评估模型的检测能力,并取得了38.1%检测精度,然后进行消融实验等评估了各模块对模型性能的贡献,最后可视化检测结果直观清晰的证明了所提模型的有效性。