洗手动作识别是手卫生依从性监测的重要组成部分,也是人们日常生活中的重要习惯之一。传统的手卫生依从性监测虽然可以检测出对象是否在做洗手的动作,但这些方法往往依赖于传感器进行监测,无法识别出洗手动作中包含的每一步内容。近年来,机器学习和深度学习算法发展迅速,在动作识别领域已经广泛应用。在洗手动作实时识别的任务中,针对网络模型在洗手动作图像识别中准确率低的问题,而且在有限的硬件资源条件下,难以支持大规模网络模型运行等问题进行研究,具体研究内容如下:由于手部区域占图像整体比例小,环境噪声占比大,使得识别网络难以有效检测出手部位置。采用Open CV图像库在视频流数据中提取出图像帧,使用YOLO v5网络对图像帧进行手部区域检测。基于YOLO v5网络的手部区域检测模型在数据集上的平均精度均值为98.93%,平均检测速度达到了55.56帧每秒。实验结果表明,手部区域检测网络不仅可以有效检测出图像中的手部位置,而且具有良好的检测速度。由于嵌入式或移动端设备硬件资源有限,难以运行占用硬件资源高的网络模型,采用了VGG16、Res Net34、Mobile Net v2和Efficient Net-B0四种神经网络,在数据集上进行对比实验。Mobile Net v2网络的准确率为62.6%,网络规模为3.50M,训练过程中占用显存为1.54G,综合性能高于其他3种识别网络,实验结果表明Mobile Net v2网络更适用于洗手动作识别任务。为了进一步提高识别模型的准确率,以Mobile Net v2网络架构为基础,提出一种双流卷积神经网络模型。首先,针对不同洗手动作图像间像素级特征差异小的问题,在倒残差结构中引入CBAM注意力机制,使网络模型提取到图像间更多的差异信息。其次,针对特征信息利用不充分的问题,引入残差结构和CBAM构成的特征提取分支,使网络模型提取到更多的特征信息。接着,采用早融合策略融合不同网络的特征信息。最后,在解码阶段对融合后的特征信息进行解码并输出置信序列。双流卷积神经网络较原网络准确率提高了11.3%,平均查准率提高了0.092,平均召回率提高了0.02。实验结果表明了双流卷积神经网络不仅更适合于洗手动作识别任务,而且有效识别出不同洗手步骤间的差异。为使洗手动作识别网络更具实用性,将洗手动作识别网络同手部区域检测模块进行结合,搭建洗手动作实时识别系统,并部署在嵌入式设备树莓派4B中。