近年来,有关动作识别的大量研究发表了。尽管如此,只有少数研究集中在实时应用上,这些应用通常包括人工跟踪系统,并且可以快速运行。现有的工作仍然存在一些局限性,如人类跟踪部分中的不稳定检测和缓慢的预测。为了解决这些问题,本文提出了一种轻量级的深度学习架构和一种新的模态组合,适用于带有跟踪系统的实时动作识别。第一步是通过Tiny-Yolo检测每一帧中的人,并通过与他们的质心的欧几里得距离来追踪人物。第二种是将每个输入帧转换为新的模态MRGB-Diff。最后一步是动作识别部分,我们将Conv3D和Conv-LSTM修改为用于比较性能的轻量级版本。我们每天使用2个数据集（KARD和BUPT-5）来比较该方法的性能。BUPT-5daily和KARD的准确率分别为79.05%和 85.13%。为了速度,Conv-LSTM和 Conv3D可以分别达到 25.4ms和 14.9ms。实验结果表明,我们的方法在实时性和准确性上都可以有效地工作。