基于深度学习的人体解析

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:huanan_0909
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体解析是对人体图像中的部位和衣物进行像素级别的识别。基于强有力的语义分割方法并进一步结合有关人体特性的辅助信息是当前的人体解析工作的主要研究路线。我们注意到,当人们在社交网站上分享照片时,往往会分享身着同一套衣服以不同姿势或角度拍摄的多张照片。这些额外的照片天然地可以作为人体解析任务的辅助信息。本文受到这种行为的启发,当对一张人体图像进行解析时,可以提供另一张相关图像的原图作为参考图像,通过寻找两张图像之间的相关关系并以此从参考图像中提取信息来提升对当前图像的解析精度。本文提出动态协同注意力网络用于解决人体解析问题,该网络由用于提取深层特征的主干网络,用于改善当前特征、引入辅助信息的动态注意力模块以及用于补充全局信息和空间信息、提升特征分辨率的解码器模块组成。其中对改善特征最为重要的动态注意力模块分为三部分,第一部分为动态滤波模块,该模块从当前图像特征中提取动态滤波器参数和动态相似度,用于提升当前特征结构化特性。第二部分为动态协同注意力模块,该模块的作用是从参考图特征中寻找与当前分割图特征相关性最强的局部区域,从参考图特征中提取辅助信息用于对当前图特征的改善。第三部分为动态计算模块,其作用为将前面模块得到的动态滤波器参数和动态相似度作用到输入特征上,得到该模块的输出特征。由此可以得到从当前图特征提取的改善后特征和从参考图特征中提取的辅助信息特征,将这两个特征和当前图原特征进行融合,即得到最终的引入了辅助信息的改善特征,该特征融合了从两张图像中提取的丰富信息,对分割图像具有更强的表达性,更有利于解析。为了更好地验证模型效果,本文同时还提出了一个新的人体解析数据集,该数据集由成对图像组成的,每对图像为同一个人身着同一套衣物以不同姿势或视角拍摄的两张照片,并且其中只有一张图像具有真实值标记。本文在该数据集上进行了大量实验,实验结果表明本文提出的模型中各个模块对最终结果均有不同程度的提升效果。在与其他最新的人体解析方法的对比上,本模型也具有更加优秀的性能。
其他文献
雨天采集的图像和视频中,视觉内容极易受到雨水遮挡,能见度低,为我们正确理解视觉信号内容带来了巨大挑战,迫切需要高效的视觉信号去雨方法。然而,由于雨水在时空域的外观变化剧烈,且分布不尽相同,为我们有效去除雨水,并保护无雨区域的纹理细节带来了诸多困难。为了解决上述问题,本文从刻画雨水在图像视频中的时空域变化特点出发,展开了视觉信号去雨算法研究:(1)针对雨水在空域上分布不均、外观各异的特点,提出了基于
深度学习模型在很多识别或分类的视觉任务中均效果出众,能够取得极高的预测准确率,但当被识别或分类的图像被添加一些人眼无法察觉的对抗扰动时,识别器或分类器的预测准确率便迅速下降,这一过程被称为对抗攻击,被添加扰动的图像被称为对抗样本。在生成对抗样本的研究工作中,对于已知模型内部参数的白盒攻击方法和针对全图像素区域的扰动添加方法,攻击成功率已经达到了很高的水平。但是在未知模型内部参数的黑盒攻击方法和限制
近年来,越来越多的计算机视觉任务与深度学习相结合并取得了突破。目标检测是众多计算机视觉应用中的底层任务,在工业界的部署十分广泛,因而随着这些算法的成熟和性能提高,越来越多的场景开始尝试计算机视觉算法的落地。在这些任务中,车辆目标检测是前景巨大发展迅速的落地场景之一,比如:车辆停车检测、交通违规检测、无人驾驶等。但与学术界不同的地方在于,除了精度,工业界对算法速度和资源消耗等成本问题更为看重。因此本
生成对抗网络作为一种重要的深度生成方法,它具有与输入数据维度线性相关的计算复杂度、不需要对目标数据分布做出任何先验假设、生成逼真样本的能力十分出色等显著优势。生成对抗网络已广泛应用在计算机视觉和自然语言处理等众多领域上,它可以生成各类真实的自然图像、文本、语音等数据。然而生成对抗网络存在的训练不稳定、生成结果存在模式坍塌现象等问题制约着其进一步地发展及应用。因此,改进生成对抗网络的研究及其应用不仅
超宽带雷达具有广泛的应用场景,例如军用弹头识别,飞行器识别、民用机动车识别、行人识别、家庭报警、救灾探测等。由于超宽带雷达属于新体制系统雷达,其目标的回波携带了较宽带雷达信号更为复杂的电磁波谱信息,因此可以通过多种信号分析手段提取到比传统体制更有效的目标识别特征,从而尽可能地利用超宽带体制带来的优越性。本论文主要对超宽带雷达回波进行信号处理后生成的时域高分辨一维距离像(HRRP)与频域电磁散射特征
稀疏贝叶斯学习(Sparse Bayesian Learning,SBL)算法是一种基于贝叶斯理论的稀疏重构算法,在阵列信号处理、频谱感知、雷达定位、图像处理等领域中得到了广泛的应用。传统稀疏贝叶斯学习算法假设噪声服从高斯分布,但是在一些实际应用环境中,存在多种复杂环境噪声,此时传统的概率假设无法提供准确的先验信息,针对这一问题进行改进,可提高稀疏贝叶斯算法在复杂环境下的性能。本文从环境噪声模型的
高动态范围(High Dynamic Range,HDR)图像拥有丰富的色彩和细节信息,能够更真实地表现实际场景,但使用硬件直接捕获HDR图像的方法成本昂贵,难以普及,现阶段大多采用软件算法获取,主要包括多曝光HDR图像获取方法与单曝光HDR图像获取方法。多曝光方法需要处理图像中前景移动所带来的鬼影效应,并进行多帧对齐,而单曝光方法则可以直接避免此类问题。本论文主要研究基于深度学习的单曝光HDR图
视觉目标跟踪分为短时跟踪和长时跟踪。短时跟踪对应的视频时长约在几十秒左右,主要解决跟踪过程中的亮度变化、尺度变化、旋转、运动模糊等对被跟踪目标的干扰。与短时跟踪方法相对成熟稳定不同,长时跟踪中由于视频序列更长,存在的目标变化、遮挡和消失情况较多,常规的短时跟踪网络和算法性能急剧衰减,因此开展长时跟踪方法研究,对解决实际应用具有重要的研究意义。另外,以深度学习为基础的长时跟踪研究近几年刚起步,数据集
在互联网时代,头像在社交平台上起着名片的作用。部分人选择将个性突出的卡通画像作为自己的头像,但是让计算机自动生成符合人类主观审美的卡通头像不是一件容易的事情。生成对抗网络(Generative Adversarial Networks,GANs)作为现阶段主流的生成模型,在图像生成领域做出了巨大贡献,基于GANs的卡通头像生成技术受到了国内外学者的广泛关注。然而,现有的基于GANs的卡通头像自动生
人类视觉系统能够有效快速地找到图像或视频中感兴趣的区域进行处理,忽略无用的信息,但是传统计算机却没有这种能力。在计算机视觉领域中,显著对象检测旨在于让计算机具有和人一样的视觉处理能力,使计算机能够关注场景中的显著对象而忽略背景信息,从而快速处理大量图像,因此显著对象检测成为许多计算机视觉任务的预处理步骤。显著对象谱的好坏,直接影响到其后视觉任务的性能效果,因此提高显著对象检测能力十分重要。本文针对