图像的稠密预测(Image Dense Prediction)是为图像中的每个像素做出预测,它是计算机视觉领域的一个重要研究方向,图像分割就是其代表性的例子。此外,关键点的预测和其它一些应用也通常采用稠密预测的方式。随着近几年深度学习方法的发展与应用,图像的稠密预测相关研究也取得了很大的进步,并且有不少方法在工业界得到应用。本论文的研究将基于深度学习的图像稠密预测应用于两个领域:多人人体姿态估计与视网膜眼底水肿区域分割。首先,对于自顶向下的多人姿态估计策略,提出了基于空间注意力机制的全分辨率单人姿态估计方法,利用空间注意力机制来融合多尺度特征,把特征图恢复到原图像尺寸从而减少因下采样带来的精度损失。然后,提出了一种自底向上的多人姿态估计新方法。它包括一个轻量级的堆叠沙漏网络,以及结合关节点及其偏移预测的关节点组装算法,极大的减少了网络模型的计算量,使得该多人姿态估计算法达到实时运行速度。最后,对于视网膜眼底图像,提出了能同时进行多种病变分割与分类的U型结构网络,其中利用了并行注意力模块来增加小区域的可识别性,并且针对性的改进了损失函数来更好地解决类别不均衡问题。该方法取得了AIChallenger 2018竞赛的冠军。本论文的主要贡献如下:(1)自顶向下的多人姿态估计先检测出每个人体区域,然后对其中每个人进行姿态估计。本文为此提出了一种单人姿态估计网络来提高关节点的定位精度。它采用了一个全分辨率的编码器—解码器结构来减少了因尺度伸缩量化带来的误差,利用全局上下文模块对编码器和解码器进行了优化,并结合了空间热度图和多尺度特征来更好地获取关节点局部信息。以轻量级的ResNet34为骨架网络,该方法在MSCOCO数据集上达到了72.5%的mAP。(2)本文提出了一个高效的自底向上的多人姿态估计算法,其中提出的轻量级堆叠沙漏网络模型极大的减少了模型的参数和计算量,并且在模型中融入了多感受野机制来适应图像中不同尺度的目标,进一步结合基于关节点及其偏移预测的高效关节点组装算法,使得该算法在做到轻量与实时的同时,依然能够达到与目前优秀算法相当的精度,在MPII多人数据集上达到了81.0%的mAP。(3)本文为视网膜眼底图像辅助诊断,提出了能同时进行多种病变分割与分类的U型结构网络。利用并行注意力模块针对性地优化小区域的病变检测问题,通过特征编码的方式改进了特征图向量化的过程,针对数据中的病变类别不均衡的问题改进了损失函数。该网络病变分类的AUC达到99.38%,病变分割精度达到76.12%的Dice,并取得了2018年度AIChallenger竞赛该赛道的第一名。