随着动作识别应用场景的拓宽,基于骨架的动作识别任务受到越来越多的关注。动作序列中包含了丰富的时间和空间信息,从中获得具有判别性的时空信息,有效地利用时空特征学习是解决动作识别任务的关键。由于动作序列分割和类别标注耗费大量的人力,利用未标注数据进行时空特征学习是一个具有实际价值的研究方向。为了推进动作识别的落地应用,研究利用观察到的有限动作序列进行动作预测和检测是一个有前景的研究方向。本文的贡献点如下:首先,为了有效地利用流形时空轨迹曲线中包含的动作间相似信息,本文提出连续投影的方法对所有动作序列进行相似性建图,将包含丰富时空信息的流形轨迹特征结合到深度神经网络中,并利用图卷积进行相似性学习。在当前常用的基于骨架的动作识别数据集上的实验结果证明了提出方法的有效性和优越性。其次,本文分析了基于骨架动作识别中时序信息和空间信息的特点,分别提出基于运动速率的时域自监督方法和基于骨架身体部分匹配的空域自监督方法。最后使用了集成学习方法,将两种自监督方法有机地结合起来。本文在两个大型的基于骨架的动作识别数据集上证明了时空自监督方法的有效性。最后,针对部分观察到的动作序列,本文引入具有动作完成率感知能力的时空特征学习模块。本文探索了基于骨架序列的动作预测和动作检测问题,使用能够较好挖掘时域特征的时域卷积网络结合图卷积网络来探索动作序列的时空特征。实验证明,本文提出的方法能够取得较好的动作预测和动作检测效果。