基于门控循环单元网络的人体动作预测方法研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:ghj1983
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着社会的发展,人们对机器智能化的需求也越来越高。人体动作预测任务旨在基于观察到的人体动作序列来自动预测未来的人体动作序列,它使得智能机器可以基于目前的人体运动状态来预测未来的人体动作,从而帮助智能机器主动做出后续的人机交互行为。目前,大多数现有方法都是基于编码器-解码器架构的,它们可以归纳为两类:一类是将骨骼点动作表示为关节坐标矢量,然后通过循环神经网络对人体运动进行建模;另一类是将骨骼点动作表示为伪图像,然后通过卷积神经网络对人体运动进行建模。这两类方法有着一个局限性:循环神经网络和卷积神经网络只能在单个领域中对运动相关性进行建模,即循环神经网络用于时间域,而卷积神经网络用于空间域。也就是说,如何同时对时间域和空间域的人体运动相关性进行建模仍然是一个需要解决的问题因此,本文以基于卷积门控循环单元网络的人体动作预测方案为基准,主要在以下方面展开研究:1)提出一种新颖的基于卷积门控循环单元网络的跳接注意力编码器-解码器框架方法。首先,该方法以分层的网络结构对骨骼运动进行建模,以获取人体动作序列的跨尺度特征。其次,设计一个新的自更新卷积门控循环单元网络作为每一层的基本单元来捕捉人体骨骼点的空间相关性。此外,在自更新卷积门控循环单元的顶部设计一个跳接注意力层以融合人体动作序列的跨尺度特征。最后,在两个公共数据集上进行了实验,实验验证了所提出的方法的有效性。2)提出一种基于卷积门控循环单元网络的人体动作对抗生成方法。该方法借用生成对抗网络的对抗训练思想来改进生成人体动作的预测效果。其主要贡献是设计一个人体动作序列合理化判别器以帮助网络生成更真实的人体动作序列。实验证明该方法能够有效提升人体动作的生成效果。
其他文献
随着社会信息化和数字化的发展,数字视频技术在军事作战、安防监控和自动驾驶等领域得到广泛应用。人眼对色彩的变化极为敏感,但低照度环境下采集的视频色彩丢失、质量退化严重,极大的限制了夜间安防、自动驾驶等领域的发展。因此,增强彩色低照度视频,提升视频质量,更有效地获得场景信息是当前研究的重点。本文以FPGA为核心,基于低照度视频增强算法,设计了一款小型化、实时彩色低照度成像系统。主要研究内容如下:为取得
当前,世界各地由相继故障引起的大停电灾难时有发生。因此,全方位地分析和研究相继故障过程对保障电网安全稳定运行具有重要意义。本文基于电网仿真数据,借助网络理论和强化学习方法,对电网相继故障过程及其控制进行了研究。主要研究内容如下:1)针对考虑关键线路的智能电网攻击方法,研究了基于强化学习的顺序攻击方法,并提出了改进的强化学习探索策略。相较于已有的电网攻击方法研究,考虑关键线路的攻击方法研究更符合电网
本文研究了基于4D毫米波雷达与IMU(Inertial Measurement Unit,惯性测量单元)融合的车载SLAM(Simultaneous Localization and Mapping,同步定位和地图构建)技术,分析了基于4D毫米波雷达与组合导航系统的数据预处理算法,研究了基于Cartographer的定位与建图优化算法,具体实现了一种基于4D毫米波雷达与IMU融合的车载SLAM系统
隐蔽目标的探测一直都是军事上重点研究的领域,随着高光谱成像技术的发展,为这一领域提供了新的解决思路。利用高光谱数据高的谱间分辨率,可以更精准的反映目标和背景的光谱特性,从而提取出隐蔽目标。但高光谱数据冗余信息多、数据量大、空间分辨率低,为后续隐蔽目标探测带来了极大的干扰。本文通过研究高光谱降维技术,去除冗余信息,减少数据量。对于高光谱数据空间分辨率低的问题,考虑到多光谱数据具有较高的空间分辨率,但
传统的基于监督学习的图像分类系统由于深度学习技术和常见类别的大规模数据集的快速发展而取得了良好的效果。Image Net数据集上的一些方法在top-5上已达到95%以上,这已经超出人类水平。然而,由于世界上的物种数量庞大,新的物种不断产生且难以获得,所以不可能在一个分类模型中包含所有的类别。因此,现在的挑战是如何使预先训练好的模型能够泛化到新的类别,而不需要收集带有结构化注释的新训练示例。零样本学
如今,雷达已经在侦察、测绘、制导、火控以及防撞、气象等军民领域得到广泛应用。本文针对弹载高度表用射频前端开展研究,主要工作包括:(1)在对比现有弹载高度表技术实现方案基础上,确定了本课题采用K波段弹载线性调频连续波体制,根据实际应用背景和技术要求,完成了射频前端方案选择和关键模块参数指标计算和仿真。(2)一发双收微带阵列天线设计。针对测角需求,结合空间结构要求,采用一发双收微带阵列天线,在对天线阵
在军事战争中,箔条作为常用的无源干扰物,发挥着反舰、反导等作用。因此,研究箔条云的电磁散射特性和多普勒特性对雷达干扰与抗干扰技术具有很大的意义。基于此,本文的主要研究内容如下:本文首先在考虑箔条间耦合的情况,运用双层球面等效源区域分解算法(D-EPA-Bo R)对箔条云进行电磁建模。为了能够更加快速求解大量箔条云的散射特性,在只考虑2个波长内的近场耦合时,对该算法分别进行MPI并行和Open MP
同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)作为自动导航技术的核心,发挥着至关重要的作用。在SLAM常用传感器中,相机凭借着丰富的图像表示以及价格低廉等优点受到研究者们的青睐。基于相机传感器的SLAM,又称之为视觉SLAM,相机位姿估计是视觉SLAM的基础模块。位姿估计的精度将直接影响后续建图与定位的结果,实现鲁棒且高精度的相机位姿估计
有限周期结构是由单个阵元均匀周期排布形成的结构,在相控阵天线、FSS、超表面等方面具有广泛的应用。在分析有限周期结构的电磁问题时,随着仿真结构的计算规模越来越大,导致计算机内存不足和计算效率下降。因此本文以时域谱元法为基础,以减少内存损耗和加速数值计算为目的,分析有限周期结构的电磁问题。本文首先提出了任意高阶子域级时域谱元(ADER-SL-SETD)方法,该方法在分析有限周期结构时实现了内存消耗的
随着语音控制的智能化需求逐渐增加,语音识别的重要性也显著上升。但在复杂的实际环境中,语音会夹杂各种干扰,导致语音识别的性能受到明显影响。语音分离能为各类语音交互应用提供清晰、纯净的语音,已成为语音识别不可或缺的前端处理。传统基于信号处理的去噪方法并没有利用到语音的本质特征:谐波与基音,因此性能受限。而计算听觉场景分析的语音分离方法仍然存在一些难题,如语音的清音部分难以分离并且基音特征易受到干扰。随