视觉理解作为人工智能系统的重要组成部分,在无人驾驶、卫星监测等领域具有重要的应用价值。面对实际应用中的视觉场景复杂性和任务特殊性,如何实现更加精准的多粒度视觉理解是亟待解决的重要问题。针对现有视觉理解在小物体和语义边界区域不够准确的问题,本文以深度神经网络模型为基础,以实际应用为导向,探究不同的上下文建模方法,对视觉理解关键技术中的目标检测和语义分割展开研究。本论文通过挖掘不同任务的上下文信息,提出了一系列创新性的基于上下文建模的深度神经网络模型,实现了从区域级到目标级再到部件级的多粒度视觉内容理解。论文的主要创新性研究成果包括:·在区域级视觉理解目标检测方面,针对现有目标检测算法在小目标检测上的性能不佳问题,提出基于上下文嵌入的目标检测网络。设计了一个上下文嵌入模块以捕获目标的多尺度上下文信息,利用目标邻域上下文建模增强网络关于小目标区域的表征能力。同时,通过提高特征图的分辨率,增强小目标的特征响应,最终实现小目标检测任务的性能提升。此外,为对小目标检测网络进行评估,我们构建了一个新的大规模的毫米波图像隐匿小目标检测数据集,包含超过5万张毫米波图像。在我们收集的数据集以及公开数据集上的实验结果表明,邻域上下文建模的方法可有效提高小目标检测的精度。·在目标级视觉理解语义分割方面,针对当前语义分割方法在语义边界等细节区域分割粗糙问题,提出了一种边缘感知的语义分割网络。通过联合训练边缘检测任务实现边缘上下文建模,利用边缘轮廓作为边界区域的上下文约束指导网络更好地识别不同语义之间的边界。在此基础上,提出了语义上下文建模的后处理网络,将前一网络输出的语义置信图作为语义上下文显式输入到后处理网络,并融合多分辨率的低层特征以捕获来自输入的语义先验,引导网络集中到易混淆区域,进一步提升在细节处的分割精度。实验结果表明,边缘和语义上下文建模的方法能有效提升在边界细节区域的分割精度。·在部件级视觉理解细粒度语义分割方面,提出了局部和全局上下文建模的细粒度语义分割网络。具体来讲,设计了三个网络模块分别对局部细节、边缘轮廓以及多尺度全局信息上下文建模,形成新的细粒度语义分割框架。在多个细粒度语义分割数据集上的实验结果表明,局部和全局上下文建模能够有效提升细粒度语义分割的性能。此外,针对细粒度语义分割中的人体解析任务,考虑到人体部件语义和姿态关键点之间存在共现关系,提出了对人体解析和姿态估计进行交互上下文建模的方法,利用人体解析和姿态估计互为彼此的上下文,实现性能共同提升。在人体解析数据集上的实验结果证明,交互上下文建模的方法能够有效地提升姿态估计和人体解析两项任务的精度。·在细粒度图像内容迁移方面,提出了空间上下文建模的纹理贴图生成网络,结合部件级理解实现纹理细节保留的图像纹理迁移。细粒度图像内容迁移的目的是将源图像中人体部件区域内的纹理内容迁移到目标图像中人体的对应部件区域内。为实现将源图像人体部件的纹理内容迁移到任意视角下的目标人体部件,并保持源图像的纹理特性,本文利用纹理贴图实现对源图像其他视角纹理的推断生成。首先,设计了空间先验图在纹理贴图空间中对人体各个部件内的空间关联关系建模。然后,基于空间先验图,提出了空间上下文建模的纹理贴图生成网络,使得补全视角区域的纹理特性与源图像保持一致。实验结果表明,空间上下文建模可实现纹理细节保留的细粒度图像内容迁移。