基于时序一致性的视频人体姿态估计技术研究

来源 :浙江工商大学 | 被引量 : 0次 | 上传用户:lcj_111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计是计算机视觉中一个基础性任务,是人体解析、动作识别、姿态跟踪等一系列下游任务的基石,其目标在于识别并检测图片或视频中人体的关节位置。视频人体姿态估计目前已被广泛应用于安全防控、暴力与异常行为检测、人机交互、增强现实等领域,具有重要意义。然而,视频中频繁发生的视觉遮挡、运动模糊等情况,以及耗时耗力的大规模视频数据集标注问题,都极大地增加了该任务的挑战性。当前,很多研究聚焦于静态图片的人体姿态估计,这些方法依赖于当前帧的视觉特征,难以有效地利用视频帧间的时序信息,导致将其应用于视频时无法应对姿态遮挡、运动模糊等造成的视觉信息缺失问题,进而关节检测准确率大打折扣。同时,现有方法严重依赖密集标注的数据,对视频数据集标注工作欠缺考虑。因此,本文以基于时序一致性的视频人体姿态估计技术为研究主题,聚焦于以下两种视频人体姿态估计方法:(1)基于深度双向连续网络的人体姿态估计方法。根据视频帧间的时序连续性,本文选取前后双时序方向连续的视频帧作为辅助帧,提取时序一致性信息以提高当前帧的姿态估计精度。本文设计的深度双向连续网络包括三个子模块:时序姿态合并模块,根据多时刻关节位置信息生成每个关节的搜索范围;姿态残差融合模块,建模短期内的关节运动信息;基于多粒度可形变卷积的姿态矫正模块,指导模型根据运动信息在关节搜索范围中回归出最终的位置。(2)基于多流预测网络的人体姿态估计方法。鉴于现有方法严重依赖于当前帧视觉信息的弊端,本文构造了多流预测网络,在当前帧视觉检测结果的基础上,融入独立于当前帧视觉特征的双向姿态预测,以期对来源于视觉特征的检测结果实现较好的补充。进一步地,考虑到视频数据集标注难度大且成本高的问题,本文对该网络进行扩展,并应用于稀疏标注的视频场景中(每隔N帧给定标注信息),在测试期间通过使用少量的标注帧高精度地预测出其他帧姿态信息,简化标注流程。实验结果显示,基于时序一致性的方法显著提升了视频中人体关键点检测精度,在多个视频姿态估计基准数据集上均优于现有方法。同时,将本文所提方法应用于稀疏标注视频场景时,在大时间间隔下依旧取得了很可观的精度。
其他文献
共识算法是区块链节点在分布式环境下达成统一的准则,不同的区块链应用场景所使用的共识算法也不尽相同。Raft算法凭借简单易懂的实现过程和高效共识成为联盟区块链或私有区块链的经典共识算法之一。但Raft算法不具有拜占庭容错能力,无法抵御恶意节点对共识过程的影响,因此Raft算法对应用场景的安全性要求较高,所有加入Raft集群的节点都必须经过严格的身份认证。近几年来,许多研究学者通过融合数字签名技术、分
学位
睡眠是人类基本的生理活动,具有促进生长、恢复体力、维持心理健康等作用。快节奏的现代生活无形中向人们施加了心理和生理层面的压力,使得睡眠逐渐成为困扰人们生活的问题,据调查全球大约有27%的人正遭受睡眠问题的困扰。睡眠分期是睡眠医学的基础工作之一,为评估睡眠质量、诊治睡眠相关疾病提供依据。传统的睡眠分期工作由睡眠专家手动完成,手动工作较为费时,研究自动睡眠分期方法有利于将专家从繁重的手工工作中解放出来
学位
随着互联网的发展,社交媒体成为人们日常生活的重要交流手段之一。然而,大量谣言和不实信息在社交媒体上的迅速传播对社会造成了不可忽视的危害与经济损失。社交媒体上的谣言传播更快、范围更广,而依赖于人工的事实验证方法存在响应慢、覆盖面有限,需要大量的人力和时间等缺点,仅通过人工事实验证的方式不足以应对社交媒体的谣言传播问题。因此,自动事实验证任务成为了国内外的研究热点,该任务旨在检索得到与待验证论述相关的
学位
<正>2023年伊始,Chat GPT(人工智能聊天机器人)以迅猛之势席卷全网,引发热议,智能科技开始进入内容互动生成时代。与此同时,世界数字教育大会于2023年2月13日在北京召开,本次大会的主题为“数字变革与教育未来”。教育部部长怀进鹏在大会主旨演讲中提到,“发展数字教育,推动教育数字化转型,是大势所趋、发展所需、改革所向”。学校体育作为教育的重要组成部分,也将站在数字科技的风口,迎来新的发展
期刊
教师领导并不是一个崭新的词汇,而是一个不断发展的研究领域,主要是在两个层面上运用,一是传统的教师领导含义,即教师所实施的对学生的领导,特别是班主任教师对班级学生的领导方式;二是当代的教师领导意义,是随着学校变革中教师赋权以及教师发展模式改变的产物,是教育主化的时代要求,更是教师发展的理性诉求。萨乔万尼在他的书中写到,要改变传统的领导方式,就要寻找替身。而其中之一就是构建共同体。作为领导替身的共同体
会议
报纸
期刊
现代信息技术的蓬勃发展正在扩大物联网的应用价值,医疗物联网作为新兴的热门应用场景,以其基于数据的治疗与护理方式为大众提供持续、实时和个性化的医疗服务。医疗物联网提供了一种高效率低成本的辅助医疗方式,缓解了当前医疗中心人力资源短缺的窘境,具备提升社会医疗体系水平的现实意义。因此,医疗物联网的信息安全问题也成为了大众关注的焦点。如何在保护用户隐私的前提下,有效地利用医疗数据信息?现有研究通常基于面向雾
学位
主要以低温低压进汽参数为基础,结合西安陕鼓动力股份有限公司总承包的江苏某钢铁企业AOD炉高温烟气余热回收项目中的工程应用,对汽电双拖机组采用高转速汽轮机和除尘风机通过变频调节的首台套工程应用进行理论分析,为后续AOD炉余热回收工程提供一定指导和借鉴价值。
期刊
大米是我国三大粮食作物之一,在人民的日常饮食中占有举足轻重的地位。随着生活水平的提高,人们开始重视健康饮食,对优质大米的需求与日俱增。因此,大米品质的检测和判别变得尤为重要。大米外观作为评价大米品质的关键指标,主要是对大米数量、碎米、黄米和垩白米等进行统计判别。传统的判别方法是人工判别,检测结果缺乏客观性和科学性。随着计算机技术的广泛应用和图像处理算法的飞速发展,基于机器视觉的大米外观品质检测已经
学位