遥感图像是按一定比例真实记录地面物体的类别属性和分布特征的图像,能够表达丰富的地表信息。对遥感图像的解译如今已被广泛应用于土地测绘、城市扩张、环境检测、城市规划建设、自然灾害应急管理等诸多领域。特别地,在遥感图像中对建筑物进行识别是遥感信息获取的关键环节和研究热点。本文提出基于多任务学习的深度神经网络,通过语义分割与实例分割探索研究遥感图像建筑物识别的方法。具体工作如下:1.针对传统的基于语义分割方法在识别遥感图像建筑物区域时,存在细节信息丢失严重、多尺度建筑物识别精度低等问题,本文提出了一种新的基于语义分割的建筑物识别方法:首先将整个模型按照“U”型结构分为编码器、解码器和跳跃连接三个部分;然后使用Xception module改进模型编码器CNN模块以提高模型性能;其次通过改进的Re Net模型作为RNN模块,使其在不影响模型性能的情况下尽量减少计算开销,并将此结构与CNN模块串联在一起共同提取图像特征;最后依据遥感图像建筑物大小不一且形状各异的特点,改进空洞空间金字塔池化,以多个比例捕捉图像上下文信息,提高模型对不同大小建筑物的识别能力。通过实验,在WHU Building datset数据集上获得97.78%的平均总体精度,在Inria数据集上获得89.12%的平均总体精度,分别比Seg Net高0.05%和4.27%。2.首先针对基于深度神经网络的遥感图像建筑物识别算法研究中,基于语义分割完成对建筑物区域识别而不能识别建筑物个体的局限性,提出基于多任务学习的神经网络模型。该多任务网络能够在基于语义分割完成对建筑物区域识别的同时基于实例分割完成建筑物个体识别。并且根据任务需求,将数据集中语义分割标签进行标注,使得数据集同时具有语义分割标签和实例分割标签。其次针对在多任务深度神经网络训练过程中难以在最小化多任务损失函数值时找到各个子任务之间的正确平衡,提出自适应权重算法自动地为各子任务损失函数分配权重,以使各子任务在训练时能够尽量达到平衡,提高模型泛化能力。实验结果表明,该多任务网络模型在语义分割任务上获得98.20%的平均总体精度,分别比Seg Net和基于VGG16的Deep Labv3+高0.49%和0.22%。最后针对目前已有的对遥感图像建筑物识别的研究中,只是基于语义分割完成对遥感图像建筑物区域识别和基于实例分割完成对遥感图像建筑物个体识别,而没有按建筑物的某些特性对建筑物进行区分和识别的研究。提出先按照需求标注并制作数据集,然后使用基于多任务学习的实例分割网络模型实现识别学校建筑物任务。实验获得61.69%的平均F1-score。