作为对地观测技术的重要组成部分,遥感图像分类已被广泛应用于国防和民生经济等领域。传统的图像分类算法难以准确描述高分辨遥感图像丰富的空间细节和语义信息,分类精度不高,难以满足下游任务中信息分析和情报提取的需求。近年来,以卷积神经网络为代表的深度学习技术,凭借其优秀的表征学习能力,为遥感图像分类任务带来了性能上的巨大提升;但在资源受限的终端,卷积神经网络的庞大参数和计算量为模型高效实时部署带来了巨大挑战。针对上述问题,本文从算法软硬件协同与灵活部署实现的角度出发,提出一种基于秩映射的轻量化遥感图像分类算法,设计实现了面向遥感图像精准分类的端到端的轻量化神经网络加速器。本文的主要成果如下:一、针对深度神经网络存在大量参数和计算量的问题,本文提出了一种基于秩映射的轻量化方法,有效降低了网络复杂性。由于残差块可以高效学习特征并抑制网络“退化”,本文以残差网络（Res Net）作为骨干网络,完成基于秩映射的网络轻量化算法。通过特征图的平均秩映射,本算法衡量了权重滤波器的重要性,剪去了低秩特征映射对应的滤波器来轻量化网络,在网络分类精度损失可控的情况下实现更高压缩比的网络轻量化。实验结果表明,Res Net网络在UCM和NWPU遥感数据集上拥有高精度的分类性能;剪枝后的网络拥有不弱于原始网络的性能表现,参数量下降86.8%的情况下仅损失0.98%的平均分类精度。二、针对底层硬件加速电路灵活性较差和设计开发困难等问题,本文设计实现一种高度参数化的底层加速电路框架,以针对不同资源的FPGA设备完成灵活部署和迁移。本文使用高层次综合（High Level Synthesis,HLS）完成高速并行和流水化的指令获取、计算单元、数据加载和存储模块的电路设计。通过设置内部模块的位宽和深度来便捷调整底层硬件的资源占用,实现高度参数化和模块化的加速器,优化内部迭代流水和指令集调度。此外,本文以通用矩阵乘法（GEMM）单元为核心完成高密度矩阵乘法加速,向编译器堆栈开放通用张量计算接口,完成了一种基于FPGA的高吞吐量的流水化深度学习加速硬件实现电路。三、针对缺乏将网络框架映射到底层硬件原语的编译器的问题,本文借助TVM编译器,完成端到端神经网络编译。本文基于TVM堆栈编译器完成了模型导入和计算图自动编译优化,调用参数化的底层加速电路,完成自动调优和8bit量化的轻量化部署,充分调用FPGA和ARM CPU资源,软硬件协同完成算法加速,最终在PYNQ-Z2 FPGA平台实现一个端到端、从网络框架编译到底层硬件原语的智能调度遥感图像高精度分类实时处理系统。实验表明,在网络性能损失可控的情况下,基于FPGA的神经网络加速器相比ARM CPU最高可实现11倍的时间加速。