手语是听力障碍者或者其他无法通过言语进行交流的人群的主要沟通工具。相比于现有的手语识别设备,毫米波雷达具有体积小,非接触,不依赖光线,抗干扰能力强,能全天时、全天候工作等优点,因此受到广泛关注。目前,基于毫米波雷达的手语识别主要存在雷达手语数据标注困难,公开数据集少,识别准确率低等问题。针对上述问题,本文结合跨模态监督网络,搭建了相机-毫米波雷达联合数据采集系统,通过使用技术发展较为成熟的相机代替人工,实现自动对雷达手语数据进行截取和标注,有效克服了在中国手语识别方面雷达数据集获取困难的问题。同时,本文将雷达信号处理方法与深度学习相结合,开展了基于距离-多普勒特征和微多普勒特征融合的中国孤立手语识别算法研究。本论文的主要工作和创新点如下:（1）提出了一种雷达双流特征融合的手语识别方法手语动作蕴含丰富的语义信息,动作复杂多变,传统深度学习方法仅提取了单一信号域中的特征,无法对手语进行有效识别。针对该问题,本文通过对连续调频波雷达的中频（Intermediate Frequency,IF）信号使用二维快速傅里叶变换（2D Fast Fourier Transform,2D-FFT）算法和短时傅里叶变换算法（short-time Fourier transform,STFT）,分别得到了包含手语时空特征的多帧距离-多普勒图（Range-Doppler Map,RDM）序列以及时频特征的单帧微多普勒特征图（micro-Doppler Feature Map,m DFM）,并且对雷达回波数据中存在的干扰以及噪声进行了相关处理和抑制。同时,本文结合深度学习提出了一种能够融合RDM和m DFM两种模态特征的全新网络架构。该网络架构通过对RDM和m DFM分别采用基于3D卷积的3D-CNN网络以及本文提出的一种基于2D卷积的Deep Net8网络进行特征提取,最终实现特征级融合。本文所提出的融合双流特征的手语识别方法在8种手语上达到了98%的识别准确率,相较于传统方法,准确率提高了8%。（2）提出了一种基于跨模态监督网络的手语识别方法针对雷达手语数据标注困难,传统监督学习模式下需要人工打标签所带来的人力耗费大等问题,本文提出了一种基于跨模态监督网络的手语识别方法。该方法构建了两个不同模态的手语识别网络,采用基于残差网络以及三维卷积分解的R（2+1）D网络为“教师网络”,“学生网络”则为上文提到的双流特征融合网络。本文通过发展较为成熟、数据集易于获取的视频手语数据来预训练“教师网络”从而实现监督“学生网络”在未标记的数据集下进行训练,当“学生网络”完成训练后便可以脱离“教师网络”独自完成手语识别工作。最终得到的跨模态监督下的雷达手语识别模型在8种手语上达到96%的识别准确率。实验证明,该方法能够有效解决雷达手语数据标准困难的问题,在减少人力消耗的同时仍能够得到高可靠的雷达手语识别模型。（3）搭建基于跨模态监督网络的相机-雷达联合数据采集系统针对传统方法获取雷达手语数据集需要人工截取和标注,灵活性低,耗费人力大等问题,本文搭建了基于跨模态监督网络的相机-雷达联合数据采集系统。该系统以跨模态监督网络手语识别算法为核心,在其基础上进行了相应扩展。本文通过增加单目测距模块和动作检测模块将教师通道扩展成一个在线实时手语识别系统,同时构建了视频-雷达双数据流通道,并通过时空对齐模块最终实现跨模态监督网络对雷达手语数据的自动截取和标注。本文最终使用该系统采集了16种雷达手语数据并对其进行雷达信号处理得到m DFM图,以此对数据采集质量进行验证。实验证明,该系统能够有效降低雷达手语数据采集难度,具有一定的现实意义和社会价值。