论文部分内容阅读
步态识别是指通过一个人走路的方式来验证他/她的身份,可以在远离个人的地方捕捉人类的步态且不需要人的配合就可以采集,同时步态特征很难被模仿同时具有不易伪装等优点。然而,很少有步态系统部署在现实世界的应用。这主要是由于步态识别系统的工作环境中存在多种干扰因素的影响,如:光照、视角、服装、路面条件和行进速度等。虽然很多步态识别研究的学者对步态识别的特征提取进行了大量的研究,也取得了较好的识别效果,但是目前大部分采用图卷积的方法中关于相关关系的表示是使用领域知识显式分配的,无法根据网络训练过程中提取的有效特征进行相关关系的自动挖掘,节点特征不仅在拓扑空间中传播,而且在特征空间中传播,因此需要考虑节点特征之间的相关性对于节点的影响。同时,相关的步态识别的研究表明,时序信息对于序列有效特征的表示意义重大,如:使用长序列的时间信息,但是有些研究表明在包含一个步态周期的轮廓序列中,每个位置的轮廓具有独特的外观。即使这些轮廓是乱序的,但只要通过观察它们的外观就能将它们重新排列成正确的顺序,不需要额外的加入时序信息,对于时序信息的有效利用存在争议。因此如何克服上述困难,提高步态识别的准确率是本文研究的重点,由于基于人体外观轮廓的步态模板很难将服装及携带物与人体本身分离,可能会导致人体的外观形状发生改变,从而影响识别的准确率。而基于人体关键点的骨架信息则对服装、携带物等因素具有较好的鲁棒性,因此本文采用人体关键点的数据集方式通过更具鲁棒性的骨架信息,给出了一种基于时空相关性的步态识别方法,来提高步态识别的准确性,主要研究内容如下所示:(1)基于注意力的全局空间相关性挖掘步态识别研究目前大部分采用图卷积的方法中关于相关关系的表示是使用领域知识显式分配的,提取到局部的关节点信息,无法根据网络训练过程中提取的有效特征进行相关关系的自动挖掘,但是节点特征不仅在拓扑空间中传播,而且在特征空间中传播,需要考虑节点特征之间的相关性对于节点的影响。因此本文引入了基于注意力的全局空间相关性挖掘网络来提高步态识别的准确率。通过基于注意力的全局空间相关性挖掘网络将物理上未连接但是有效的关节点信息加入到关节点中,对关节之间依赖关系建模,用于了解不同身体部位之间的帧内交互,动态建立骨骼关节之间的连接,使得感受野增大,提取到更多的有效信息。(2)基于注意力的全局时间相关性挖掘步态识别研究相关的步态识别的研究表明,时序信息对于序列有效特征的表示意义重大,如:使用长序列的时间信息,但是有些研究表明在包含一个步态周期的轮廓序列中,每个位置的轮廓具有独特的外观。即使这些轮廓是乱序的,但只要通过观察它们的外观就能将它们重新排列成正确的顺序,不需要额外的加入时序信息。对于时序信息的有效利用存在争议,因此本文通过使用基于注意力的全局时间相关性挖掘网络进行特征表示,进一步提高步态识别性能。全局时间相关性网络作用于各个子序列之间通过对局部时间信息相关性自动挖掘增强全局时序信息的理解,从而得到包含整个序列的全局时间相关性特征,进而提高步态识别的准确率。(3)基于时空相关性步态识别研究针对图卷积网络中局部空间相关关系的提取造成的隐式关系挖掘受限问题以及时序信息的有效利用问题,本文给出了一种基于时空相关性的步态识别算法,在空间上,采用基于注意力的全局空间相关性挖掘网络对关节之间依赖关系建模,用于了解不同身体部位之间的帧内交互,动态建立骨骼关节之间的连接,实现全局空间相关性挖掘。在时间上,采用基于注意力的全局时间相关性挖掘网络学习步态特征,全局时间相关性网络作用于各个子序列之间通过对局部时间信息相关性自动挖掘增强全局时序信息的理解,从而得到包含整个序列的全局特征信息。本文基于人体关节点数据,给出了基于时空相关性的步态识别方法,其能够将物理上未连接但是有效的关节点信息加入到关节点中,学习不同身体部位之间的帧内交互,动态建立骨骼关节之间的连接,同时通过对局部时序信息相关性自动挖掘增强全局时序信息的理解,从而提取更加有效的人体特征提升模型的准确率。