脑卒中是一种由上运动神经元受损引起的疾病,容易导致患者产生不同程度的功能障碍。脑卒中的康复医疗主要是预防和处理脑卒中患者的各种神经功能缺失,手部康复训练就是其中一种。手部动作是实现人机交互的途径之一,随着近几年机器学习和深度学习方法的普及,基于手部动作跟踪和识别的人机交互技术取得了新的进展。基于计算机视觉的手部动作跟踪与识别技术为脑卒中患者的手部康复训练提供了新的解决方案。脑卒中患者的手部情况相比于正常人较为特殊,经常表现为自遮挡严重和闭合程度较高,这为使用手部动作跟踪和识别技术辅助手部康复训练增加了一定难度。对于这一情况,结合手部康复训练的要求和手部动作跟踪与识别技术的最新研究进展,针对脑卒中患者的手形复杂、手部数据标注代价高以及对实时性要求较高的情况,使用基于部分监督生成模型的LSPS算法实现手部姿态估计,实时获取患者手部三维关节点信息,实现手部动作跟踪;然后,总结出患者康复训练过程中的七种手势,基于三维关节点信息计算手势的相关特征,实现手势类别识别,帮助在训练过程中纠正患者的错误手势;最后,结合当前手部康复训练领域的研究进展、医生的建议以及对脑卒中患者手部情况的观察,总结出可用于评估患者手部康复状态的参数数据,根据手部姿态估计得到的关节点信息,计算康复状态数据,并将计算结果可视化。结合以上工作,实现面向脑卒中康复训练的手部动作跟踪与识别软件,帮助脑卒中患者实现在复杂手形、实时性强、低成本情况下的手部康复训练。通过与康复游戏系统相结合并投入医院使用,证明提出的手部动作跟踪与识别软件实现了预期的功能目标。