自然场景下3D人体姿态估计

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:xpipi219
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人是计算机视觉任务中的重要认知对象,人体姿态可以传递丰富的信息,对于姿态的认知、解读是人类视觉的一项基本能力。3D人体姿态估计是指从图像或者视频数据中检测出人体关键部位的位置,从而得出三维人体姿态的过程。人体姿态估计在视频监控、人机交互等领域具有广阔的应用前景,同时也可为行为识别、异常行为检测等其它问题的研究提供有效的辅助信息。受背景、距离等因素的影响,基于单张图像的3D人体姿态估计模型在自然场景下泛化效果较差。本文在对姿态估计模型进行改进的同时,也注重提升姿态估计模型在自然场景下的预测效果。本文采用基于深度学习的方法,对单张RGB图像进行3D人体姿态估计。从单一视角下推导3D人体姿态,本身存在着多义性问题。对此,本文设计人体姿态限制模型,利用循环神经网络对人体各关节点之间的依赖关系进行编码,对原始模型输出的姿态估计结果进一步调整,使姿态估计结果更符合人体本身的生理限制,从而提升模型的预测效果。3D姿态估计模型的训练数据绝大多数是在室内场景下采集得到,在此基础上训练得到的模型会更适合室内场景下的姿态估计。针对自然场景下图像背景、光照、距离多变的问题,在基准模型基础上,利用人体先验知识引入弱监督学习策略,更充分地挖掘2D姿态标注数据,使模型更适应复杂背景。在自然场景下,图像中人物对象的尺寸变化幅度相比室内场景更大,深度神经网络在深层次容易丢失骨骼关键点这样的小目标。因此本文采用特征融合策略,将深度神经网络不同层次的特征进行融合,结合高层特征的强语义和低层特征高分辨率的特点,更好地应对目标尺寸变化的问题,改善骨骼关键点的检测效果。文中主要使用具有三维人体姿态标注的Human3.6M数据集和具有二维姿态标注的MPII数据集。实验过程中,对改进后的模型和基准模型进行了对比实验,实验结果证实了改进后模型的有效性。将Human3.6M数据集作为测试集,在对齐后的平均关节位置误差测量指标上,相比于基准模型有1.9%的性能提升,而且在自然场景下有更好的泛化性能。
其他文献
2月28日,国家统计局网站发布《2017年国民经济和社会发展统计公报》,公报中包括了2017年GDP、CPI、房价、投资、进出口、金融等重磅数据。$$“经济如果持续向好,2022年左右,中国
报纸
现代公司制度的一个主要特征就是公司股权的自由流动,在股权转让中会涉及股权转让股东、行使优先购买权股东以及股东以外的第三人的利益,关系复杂。在有限责任公司股权转让过
人力资本与产业结构升级关系已经成为研究产业结构升级的重要问题。研究人力资本对产业结构升级的促进作用不仅能够推动天津市的经济发展,更对我国城市发展具有重要的参考意
煤岩体受到力的作用时会产生变形或破坏,释放以脉冲形式表现出来的弹性波,即煤岩声发射现象。煤岩声发射信号能够为煤矿动力灾害预测提供非常有价值的信息,对煤岩声发射信号进行采集和分析处理,对于判断煤矿动力灾害的到来,预先做好防范措施具有重大意义。本文采用意法半导体公司最新推出的高端嵌入式处理器芯片STM32F407,设计了一款高性价比的煤岩声发射监测系统。该系统能够实现对煤岩声发射信号的采集和预处理,将
海伦市作为中国优质大豆之乡、中国高淀粉玉米之乡,是国家重要的商品粮基地以及农作物主产区。充分了解海伦主要作物种植结构的时空变化,并据此剖析种植结构变化的主要驱动因
目的 探讨温热疗法能否增加前药5-FC对转CD基因结肠癌细胞的靶向性杀伤作用及作用机制。 方法 脂质体法将含CD基因的逆转录病毒载体GlCEACDNa直接转染大肠癌SW480细
建筑行业是国民经济发展的支柱产业,在绿色建筑、节能减排的指导方针下,降低建筑工业化的成本和能源消耗,对于今后建筑工业化持续健康绿色的发展至关重要,因此探索建筑工业化
<正>"暑"是夏天的气候特征。而说到消暑的方法,人们常以为用冰冷来消除暑热很立竿见影,例如洗冷水澡、喝冷饮等,但其实这些方式不合乎中医养生的原则。中医认为,夏天气温接近
本文是对雪漠的小说作品《白虎关》的汉英翻译报告。本翻译项目的研究目的在于通过本项目为乡土文学的翻译提供一些可用的借鉴。首先在译前分析阶段,本文通过对《白虎关》的
随着经济全球化进程的不断发展与深化,传播环境不断深化,跨文化传播结构也不断呈现出新的复杂的特点。电影作为跨文化传播的一种表现形式,由于内容和表现形式的不断改进和发