手语是聋哑人与社会交流的主要方式,它以视觉为媒介,主要包括人的手势、身体姿势和面部表情等,通常以视频的形式展示和收集。视频手语识别旨在将手语视频转换为单词（孤立词手语识别）或句子（连续手语识别）,以促进普通人与聋哑人之间的沟通交流。此外,随着机器人技术的发展,手语识别在人机交互中的应用也引起了学者的广泛关注,如面向聋哑人的机器人服务认知。手语识别存在以下难点:（1）手语动作的正确识别依赖于对手语视频中静态场景和动作信息的时空建模;（2）手语视频中具有冗余的空间和时间信息,模型需要从中筛选出与手语动作相关的信息;（3）手语识别的进一步目标是实现连续手语即手语句子的识别,这依赖特征序列的长距离建模;（4）对于模型的实际应用来说,保持模型精度和轻量性的平衡也是一个难点。针对手语识别中时空建模的问题,本文提出一种基于深度三维卷积神经网络（3-dimensional convolutional neural networks,简称 3D CNNs）的孤立词手语识别方法。3D CNNs具有从低级到高级进行时空建模的能力,避免了传统手工提取特征的低效以及二维卷积方法所必需的事后时间信息融合。通过使用三维残差网络（3-dimensional residual network,简称R3D）进行手语视频片段的时空特征提取,并基于迁移学习进行模型参数的初始化,然后通过随机采样获得固定长度的视频片段并输入到模型中进行端对端训练,最后完成孤立词手语的识别。为解决手语视频中时空冗余信息的问题,本文提出一种基于全局信息、自注意力和多尺度时空卷积的时空-通道注意力（spatial-temporal-channel attention,简称STCA）模块。STCA模块由两个子模块即通道-时间注意力（channel-temporal attention,简称CTA）模块和空间-时间注意力（spatial-temporal attention,简称STA）模块组成。两个子模块可以联合起来完成时空-通道维度的注意力建模。通过将该模块嵌入到R（2+1）D（R3D的时空分解版本）中,模型可以提取更多与手语动作相关的显著性特征,抑制无关特征和冗余信息的干扰。针对传统基于循环神经网络（recurrentneural networks,简称RNNs）的连续手语识别方法的长距离依赖问题,本文提出基于R（2+1）D与Transformer的连续手语识别方法。首先使用预训练R（2+1）D提取时空特征序列,经过位置编码后将特征序列输入到完全基于自注意力的具有全局建模能力的Transformer中,最后完成手语视频与文本句子的映射。同时,在模型训练过程中分别使用标签平滑正则化和余弦学习率衰减策略防止过拟合和促进模型收敛。为解决手语模型应用中轻量化的问题,本文提出一种名为随机知识蒸馏（random knowledge distillation,简称RKD）的基于多教师网络的知识蒸馏方法,通过在多个教师网络中随机选择一个教师模型的软标签作为轻量学生网络训练过程中的额外指导,将重型网络中的知识迁移到轻量网络3D MobileNets、3D ShuffleNets和X3Ds中,并将其应用于人机交互场景下的基于手语指令的机器人服务认知中。本文所提出方法在多个数据集上进行了实验与分析并进行了基于手语的机器人服务认知仿真实验。实验结果表明,与手动提取特征和二维卷积相比,三维卷积具有良好的时空特征提取能力,可以大幅提高手语识别模型的性能;R3D在进行时空分解为R（2+1）D并嵌入时空-通道注意力模块后能够关注于与手语相关的显著性特征,并有效提高模型性能;与基于RNNs的连续手语识别模型相比,基于Transformer的连续手语识别框架可以获得更低的词错误率,证明了全局建模在连续手语识别中的作用;经过RKD知识迁移后得到的轻量模型可以在大幅降低参数量和计算量的同时获得与重量模型相当的性能;基于Assistive Gym框架的仿真实验表明,轻量手语识别模型可以应用于人机交互中。