随着深度学习技术在手语识别领域的成功应用,一直困扰听障人群的交流障碍问题得到了缓解的可能。为了将手语识别技术应用到日常生活中去切实缓解听障人群与正常人沟通困难问题,研究了手语与语音互译系统的研究。为实现手语语音互译功能,本文首先开展了对手语孤立词识别以及连续手语识别的算法研究。针对手语孤立词识别,提出了基于C3D的手语孤立词识别算法。针对连续手语识别,提出了基于全局注意力机制和LSTM连续手语识别算法。然后,基于科大讯飞开放平台建立语音与文字映射,实现语音与文字互译任务。最后,将以上研究内容搭载在服务机器人平台上构建手语与语音互译系统,实现手语与语音的互译功能。主要内容为:1)提出了基于C3D的手语孤立词识别算法。使用K-means聚类提取手语视频关键帧,去除视频冗余部分,并对所提取关键帧图片进行分割,突出手部区域,便于C3D网络提取其运动轨迹。将两种数据分别拼接成新的视频并输入网络进行训练,将两种形态下提取到的手型特征以及手部运动轨迹特征进行融合,通过SVM进行分类。该算法在80种CSL手语孤立词数据集上进行测试,得到了76.625%的平均识别准确率。2)提出了基于全局注意力机制和LSTM的连续手语识别。网络结构主体采用编解码器结构,在数据预处理阶段利用差分方法提取视频关键帧,去除冗余帧,减少识别过程中的噪声影响。采用Resnet作为编码器进行特征提取,在提取到有效的特征时可以很好的保存数据的时序性。使用融合全局注意力机制的LSTM网络作为解码器,通过LSTM进行时序分析,同时结合历史上下文信息,不断优化识别结果。该算法在中文连续手语数据集CSL上的平均识别率为90.08%,平均词错误率为41.2%,与5种手语识别算法相比,该方法在识别准确率与翻译性能上具有优势。3)手语与语音互译的服务机器人原型系统集成。通过将上述算法以及设计好的语音识别模块搭载在服务机器人上,构建出可以实现手语与语音互译任务的系统。