基于深度学习的人体姿态估计及预测算法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:anandebaobei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据、人工智能技术的进步,计算机视觉领域受到人们的广泛关注,它的主要目的是创建可以像人类一样处理、分析和理解视觉数据的数字系统。本文主要研究了计算机视觉领域中的人体姿态估计和预测问题。前者是指从包含人的图像或视频中获取关节点的位置信息。后者是指在人体姿态估计的基础上,利用历史姿态位置信息预测未来一段时间内的姿态变化情况。目前,这两项技术已经被广泛应用于视频监控、医疗健康、自动驾驶等领域。本文的主要研究内容及贡献如下:(1)本文中研究了基于视频的3D人体姿态估计问题。当前的研究主要是针对视频中单帧图像进行的,由于每帧图像的姿态估计结果存在独立误差,所以这种方法会造成抖动、不连续的问题。为解决此问题,本文提出一种基于时序卷积的3D人体姿态估计算法,其能够利用视频帧之间的时序信息来改善姿态估计效果。本算法中,首先使用先进的目标检测和2D姿态估计算法估计出视频中人体的2D关节位置,然后使用本文提出的基于时序空洞卷积的2D-3D姿态提升网络将2D关节位置提升至3D空间。通过采用时间空洞卷积,可以有效扩大感受野,捕获姿态序列中的长期依赖关系。并且,与基于循环神经网络的模型相比,采用卷积神经网络的优势在于可以在批处理和时间维度上实现并行化。此外,本文中通过设计消融实验探究了 2D姿态估计算法以及本文提出的姿态提升网络的接收域对3D姿态估计性能的影响。最后,对3D姿态估计网络在Human3.6M数据集上的性能进行了评估。结果表明,与多种先进的3D人体姿态估计算法相比,本文提出的模型获得了最佳估计性能。(2)本文中研究了短期和长期两种场景下的人体姿态预测问题。当前基于深度学习的人体姿态预测算法主要是通过对神经网络结构进行改进来提升模型预测性能的。而本文整体上采用特征工程与神经网络相结合的思路,首先使用多尺度小波变换将原始姿态数据转换到新的特征空间,在新特征空间下的姿态序列具有原始序列中深层次、多维度、局部化的细节特征。然后,针对短期预测和长期预测的不同特点,分别提出了两种适用于不同场景下的姿态预测网络。短期姿态预测网络主要是基于seq2seq模型而设计的。长期姿态预测场景下信息丢失和误差累积问题严重,为解决此问题,本文在短期姿态预测网络的基础上引入注意力机制来改善长期预测性能。此外,通过设计消融实验探究了dropout率、小波分解方式以及分解阶次等因素对模型性能的影响。最后,对本文所提出的基于小波变换的短期和长期姿态预测模型在Human3.6M数据集上的性能进行了评估。结果表明,与基线模型和多种先进的姿态预测模型相比,本文提出的模型在长期和短期预测中均取得了最佳性能。
其他文献
随着无线通信技术的迅速发展,人们对通信性能提出了更高速率和更低时延的要求,这使得毫米波与大规模MIMO(Multiple-input Multiple-output)技术相结合成为当前移动通信发展的趋势。毫米波大规模MIMO系统中巨大的天线数目、复杂的混合波束赋形结构和极高的路径损耗使得传统的信道估计方案不再适用,而压缩感知的稀疏重构算法为恢复规模庞大的毫米波信道矩阵提供了理论支撑。因此,本文利用
在现实生活中,许多现象都可以归纳为非线性发展方程的数学模型问题,人们开始对非线性发展方程的求解有了广泛的兴趣。非线性发展方程有着丰富的背景,其应用范围十分广泛,被广泛应用到生物学、数学和物理等众多领域。到目前为止,求非线性发展方程的精确解还没有形成统一的方法,因此,我们需要寻找有效的求解方法。越来越多的科学家开始研究非线性发展方程的特点,创造出了李对称分析方法,该方法在理论和应用方面都取得了很大进
近年来,无线通信领域对物理层安全通信有了更高的要求,而传统的通信技术往往具有高复杂性算法、能耗和硬件成本支出过大的问题。因此最近智能反射面(Intelligent Reflecting Surface,即 IRS)被提出并应用于无线通信系统中。IRS是无源被动的二维反射表面,可以通过软件控制IRS上反射单元的反射相位主动修改无线信道。通过设计IRS的反射相位可以在合法用户处的接收信号相干叠加同时在
随着互联网信息技术的发展,网络媒体、社交帐户每天都会产生大量文本数据,这些文本数据蕴含着巨大的价值。信息抽取技术(Information Extraction,IE)能够从这些文本中挖掘有用信息。本文主要研究信息抽取技术的子任务实体关系抽取(Relation Extraction,RE)技术。该任务旨在从非结构化文本数据中抽取蕴含的实体语义关系,从而将大量非结构化数据转化成易存储、易分析的结构化数
凭借着高品质因子、低模式体积,回音壁模式的光学微腔日益成为科学家研究的重点并且被投入到各种应用之中。多层复合材料微腔能够观察到单一材料无法实现的独特现象,然而目前对于微腔内热振荡现象的研究都仅限于双层及以下的微腔之中。本文以提出的两种不同模型的三层复合回音壁微球腔为重点,第一种是由二氧化硅、聚二甲基硅烷、二氧化硅组成的三层微腔,他们各自通过热光效应对微腔谐振波长的影响是正、负、正;第二种是由二氧化
增强现实(AR)在教育、医疗和营销推广等领域发挥的作用越来越明显。目前,AR主要基于专用设备或APP来实现,少部分基于Web。然而,专用设备式AR和APP式AR的体验和开发成本高,不具备轻量化特性,Web AR发展不成熟且性能提升仍有较大空间。为此,本文提出了一种实现轻量化AR的方法,在满足功能和性能要求的同时,降低体验和开发成本。主要创新内容和工作如下:(1)针对目前AR应用体验与开发成本高的问
呼吸运动是哺乳动物用来维持生命的一项必要的生理活动,其中包含着丰富的节律性行为。研究表明,哺乳动物延髓腹外侧区的pre-B(?)tzinger复合体(pre-B(?)tC)是产生和调节呼吸节律的关键部位。其中存在着一类特殊的神经元,这些神经元可以通过突触耦合形成神经网络,并自发地产生节律性放电,这些节律性放电与呼吸节律的产生密切相关。在生物实验中,研究者发现了一类特殊的簇放电类型——混合放电(MB
极化是电磁波很重要的特性之一。对于各种极化态的操控,需要借助极化转换器来完成。极化转换器在卫星通信、电磁隐身、天线设计、成像和波束控制等方面,发挥着重要的作用。传统的极化转换器主要利用自然界现有的材料,依靠材料本身所具有的双折射效应和圆二色性等特性对极化态进行控制。然而,这往往需要厚重的体积,以实现在传播方向上足够的相位积累。超材料的出现则为极化转换器的发展提供了新的方向。本文基于超材料的设计思想
随着互联网行业的高速发展,互联网产品的功能逐渐复杂化,行业内的竞争也越来越激烈,在互联网项目及企业中引入科学先进的风险管理方案显得尤为重要。本研究以D移动办公平台项目为例,对互联网项目的风险管理进行深入的研究,旨在研究出科学合理且适用于互联网项目的风险管理方案,从而提高互联网企业的竞争力。本研究首先通过专家访谈法、组织全员头脑风暴会等方法对D移动办公平台产品3.0迭代项目在各个阶段的风险因素进行识
随着现代通信的不断发展,作为信息物理载体的光纤正在扮演愈加重要的角色。光缆故障属偶发事件,但光缆数量的激增导致光缆故障愈加频繁的出现。光缆安全监测技术是光缆运维不可或缺的关键技术,有效的光缆安全监测技术能大幅降低运维成本,提高运维效率。光纤传感技术因其体积轻便、安装便捷、无源、抗干扰等优势,已在各个领域中作为一种重要的监测手段而被广泛使用。光缆安全监测已有成熟的解决方案,但主流方案具有硬件成本与改