基于单目图像的三维人体姿态估计算法研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:marker1900
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人体姿态估计旨在估计人体关节点的空间三维位置,是计算机视觉领域的热门研究课题。从单目图像中回归人体三维姿态面临许多挑战,尤其在罕见姿态和出现遮挡等情况时。为了解决这些问题,本文基于两阶段研究方案实现三维人体姿态估计,分别探究了从单帧图像和多帧图像序列中预测三维坐标的算法。本文的主要研究内容如下:(1)针对单帧图像,提出了一种基于分裂重组的三维人体姿态估计算法(SR-FCN),通过三维姿态估计网络结构的改进、损失函数的设计,提升了罕见姿态的预测性能。算法首先基于关节之间的关联程度对关节进行分组,通过单独的网络分支学习每个分组的特征,并将全局语义信息编码进每个分组特征,最后送入全连接残差网络,将高维特征映射为三维坐标。考虑到人体结构的对称性,本文对网络施加了骨骼对称损失。本文在Human3.6M数据集上进行了训练和测试,以真实二维姿态标签作为输入时,SR-FCN模型的MPJPE值为32.6mm,展现了良好的预测性能。(2)针对多帧图像,提出了一种基于分裂重组和视觉Transformer的三维人体姿态估计算法(SR-ViT),通过SR-FCN与视觉Transformer的结合,实现了从连续多帧图像中估计中心帧的三维姿态,有效解决了关节遮挡问题。算法首先将二维坐标送入三维特征提取器获得每帧的三维特征,与位置嵌入信息进行特征融合之后,通过Transformer编码器建模所有帧之间的全局关联性。通过全局和局部两个方面对自注意力机制的改进,降低了三维姿态估计误差。本文在Human3.6M数据集上进行了测试,以真实二维姿态标签作为输入时,SR-ViT模型的MPJPE值为26.7mm,表明了SR-ViT算法具有良好的三维姿态预测能力。(3)设计了一个三维人体姿态估计演示验证系统,支持相机、本地视频文件和二维坐标文件三种输入形式,实现三维姿态估计任务,完成了演示验证系统的界面设计和功能设计,并进行了测试,达到了预期的效果。
其他文献
工厂化循环水养殖作为一种高密度、集约化的养殖方式,如何快速高效的将养殖池中的固体悬浮物快速高效地排出养殖池,是工厂化循环水养殖水处理技术的核心问题。本研究以探究进水方式对八边形养殖池自清洗能力的影响为目的,通过物理模型试验分别研究了在双进水管条件下和单进水管条件下,进水管布设距离比d/a(d为射流管孔到池壁的距离,a为池壁边长)以及进水管的布设角度对八边形养殖池集污特性的影响;同时,通过粒子图像测
学位
商业银行的零售业务具有风险低、受经济周期影响小、发展前景广阔、易与中间业务结合等特点。在当前经济发展速度放缓、利率市场化的不断改革以及金融脱媒现象的愈演愈烈,商业银行开始积极寻求新的发展方式。而零售业务转型有助于优化商业银行自身的业务结构,加强自身的风险抵御水平,提升银行的盈利能力,大多数银行开始进行零售业务转型,并有意将零售业务的开展作为新的利润增长点。商业银行进行零售业务转型,也有助于银行零售
学位
蜑螺是一种较为原始的腹足类动物,其化石记录可追溯到约5亿年前的奥陶纪,是潮间带常见软体动物,主要栖息在热带至亚热带地区的潮间带岩石海岸,喜群居生活。我国浙江以南沿海均有分布,品种繁多。可接受较广泛盐度范围,是潮间带为数不多的能同时生活在淡水及海水环境中的生物,属于潮间带优势种。它们大多是植食动物,经常以岩石表面的藻类为食,是重要的微藻滤食者,可作为监测环境污染的指示生物。目前,蜑螺科分类还存在不少
学位
研究背景人类的肠道有着大规模、类别众多的微生物群,核心为细菌,结肠远端的细菌密度相对最高,根据预估1克粪便中存在大概1011~1012个细菌。分析得出,肠道菌群和机体发育、代谢与免疫等存在非常紧密的联系。肠道中稳态的必备要件,即宿主和微生物之间的共同存在,若是该均衡关系面临极大的冲击,则会导致微生态遭遇失衡的问题,这也会造成机体各类疾病的出现和进展。当代诸多医学、生物学分析得出,肠道菌群的失调现象
学位
目的:研究腹腔镜下卵巢子宫内膜异位囊肿剥除术对卵巢储备功能的影响。方法:选取2018年1月至2019年12月间在苏州市吴中人民医院妇科接受腹腔镜卵巢子宫内膜异位囊肿剥除手术的育龄期女性80例,采用回顾性分析的方法,按年龄(≤35岁,>35岁),患侧部位(单侧,双侧),囊肿直径(≤5厘米,>5厘米),卵巢子宫内膜异位囊肿分期(Ⅰ~Ⅱ期、Ⅲ期、Ⅳ期),手术方式(单纯电凝、电凝+缝合及单纯缝合)进行分组
学位
顶空进样法是一种高效的样品前处理技术,已被广泛应用于水体及固态废弃物中的挥发性有机物(Volatile Organic Compounds,VOCs)检测。传统的台式顶空进样仪体积大、功耗高、环境适应性差,不具备现场应急检测能力。因此,开发具备现场检测能力的便携式顶空进样仪,成为当前环境检测领域的研究热点之一。便携式顶空进样仪作为一种样品前处理设备,通常无法单独工作,需要与便携式分析仪器联用,才能
学位
随着环境状况的复杂和控制精度的提高,被控系统模型越来越复杂。诸如部件故障、通信不稳、环境变化等状况都影响着系统结构。这就导致此类系统难以通过确定系统准确刻画,马尔科夫跳变系统为这类系统提供了可行的描述方法。然而,该系统也存在转移率不能随时间变化的缺陷,这限制了应用范围。因而学者提出半马尔科夫跳变系统,其转移率随时间变化,因此半马尔科夫跳变系统的研究极具意义和价值。上述系统均为集中式系统,随着工业的
学位
人工智能及计算机软硬件技术的飞速突破给服务型机器人的研究带来了巨大的动力,随着人类社会需求的提高,公共智能服务机器人服务内容正在不断拓展。和工业机器人相比,服务型移动机器人往往工作于人机共融环境下,该场景下非结构化物体多、时变性强,使得机器人除了需要满足导航基本指标外,还需用拟人、自然的行为与对象交互。目前在人机共融环境中主流的移动机器人避障技术为局部路径规划算法,此类方法仅仅将行人视作动态障碍物
学位
自2010年3月末上交所和深交所正式开始融资融券业务之后,国内的股票市场正式拥有了做空机制,使得配对交易在国内的应用有了良好的平台基础。配对交易策略是一种套利统计策略,要求寻找两支具有长期均衡关系的股票对,在两支股票的价差偏离长期均衡水平时,做多相对低估股,做空相对高估股,随后等待价差回归均衡,来获取价差收敛的利润。本文以沪深300指数成份股作为研究对象,以2017年初到2020年末的股票数据作为
学位
随着集成电路特征尺寸进入量子效应显著范围,集成芯片技术的发展已经来到了后摩尔时代,芯片的功耗瓶颈使得尺寸缩小难以维持既有的比例。碳纳米管(Carbon Nanotube,CNT)是可能性极高的替代硅的材料之一,北京大学、英特尔公司和IBM公司等早已开始对CNT本身的性能以及使用CNT制造微纳器件进行深入研究。CNT的直径通常为几个纳米,传统的设备与技术对单根CNT的性能测量不是很适用。借助扫描电子
学位