基于生物特征不易伪造,具有独一无二,终生不变等优点,生物特征识别技术对人的身份鉴别相对于传统鉴别方法有着天然的优势。其中,步态识别甚至可以在远距离、不接触个体、光线差的环境下提取出行人的步态生物特征,这成为当今生物识别研究的热点之一。但目前主流的步态识别是基于步态轮廓图的,易受到视角、衣着、携带物等协变量的干扰,故针对轮廓图模板丢失时空信息和协变量因素影响问题,基于深度学习方法建立联合时空特征提取模型展开研究。本课题主要开展了以下几方面工作:(1)为了解决步态识别受衣着、携带物等协变量因素影响的问题,提出了一种基于骨架图和循环神经网络步态识别算法。为了验证该算法的有效性,选择了数据量大、包含视角,衣着,携带物变化CASIA-B作为步态数据集。利用图像算法将其中的轮廓图处理后得到拓扑关系精准的骨架图,将步态数据由轮廓图转变为骨架图,在一定程度上解决了轮廓图易受协变量干扰而失真的问题。再对高维骨架特征向量做主成分分析法(PCA)降维处理,既保留数据大部分原始信息,也降低了数据空间的复杂度。在特征学习方面,采用了两种基于循环神经网络变体(lstm,attention-bilstm)的模型,一个周期内的降维静态特征组输入循环神经网络提取步态中的动态特征,注意力机制(attention)增加模型在时间维度上聚焦式注意力的能力。通过该两组模型下的实验结果和现有的基于轮廓图的步态识别方法实验结果对比,结果表明骨架图相较轮廓图在协变量干扰下鲁棒性更好,循环神经网络结合注意力机制建立的步态模型特征学习能力更强。(2)针对骨架图在0°与180°视角下躯干关节易重叠的问题,为选择一种不受视角影响,冗余特征较少的步态模板为目的,提出了一种基于人体关节点和融合时空特征网络的步态识别算法。用姿态估计算法估计CASIA-B数据集中RGB原图的关节点坐标,得到28个低维步态静态特征描述子。设计融合时空特征网络对关节点坐标数据特征学习,在网络第一部分中,attention-bilstm提取步态动态特征,在第二部分中,卷积神经网络提取步态静态特征,最终两部分联合得到步态时空特征。同样在CASIA-B步态数据集上实验,与基于骨架的步态方法的实验结果做对比,实验表明基于关节点和融合时空特征的步态识别算法表现出更高的效率。