基于计算机视觉的手语识别技术和语音合成技术是人机交互领域中的重要研究内容，有着广泛的应用，已成为目前的两大研究热点。但是，现有的研究大都只是分别独立地针对手语识别技术和语音合成的问题展开研究，并没有考虑到言语障碍者跟正常人交流中的语音输出问题，忽视了让哑巴“开口说话”的情况，缺少手语到语音转换的研究。本文针对健全人与聋哑人之间的交流障碍问题，提出了一种手语到普通话/藏语语音转换的方法。首先，分别采用基于深度图像技术方法、基于深度学习方法、基于隐Markov模型(hidden Markov model,HMM)方法来识别各种预定义的手语；然后根据识别出的手语信息，获得手语的文本，并通过文本分析获得语音合成所需的上下文相关的标注。同时，利用说话人自适应训练(speaker adaptive training, SAT)技术，设计了一个基于HMM的汉藏双语语音合成系统，通过该语音合成系统，将手语的上下文相关标注转换为汉语普通话/藏语语音。论文的主要工作与创新如下：　　1.识别了10种数字手语、30种字母手语和6种动态手语。首先，针对10种数字手语，根据深度图像信息将手语区域从复杂背景中提取出来，再采用SURF(speeded up robust features,SURF)算法进行手语特征的提取和匹配；然后，采用基于深度学习的方法，结合支持向量机(support vector machine,SVM)识别30种字母手语；最后，根据动态手语的运动轨迹模型，提取相邻轨迹点间的角度值作为手语特征，利用HMM的方法识别出6种动态手语。实验结果表明，利用这三种方法均能对预定义的手语进行准确的识别和分类。　　2.生成了手语的上下文相关标注。首先将手语的语义用汉藏双语进行表达，然后利用一个汉藏双语的文本分析程序，获得手语语义所表达的声韵母、音节、词、韵律词、韵律短语以及对应句子的语境等相应的信息，进而利用这些上下文信息产生语义的上下文相关标注。产生的上下文相关标注连同手语及其语义定义保存到一个手语的语义词典中，供语音合成系统根据识别出的手语合成出相应的语音。　　3.实现了手语到汉藏双语的语音合成。首先，选取一个多说话人的普通话大语料库和一个单说话人的藏语小语料库作为训练语料，通过SAT技术获得一个汉藏双语混合语言的平均音模型；再采用说话人自适应变换方法，利用普通话/藏语的特定说话人的训练语料，获得说话人相关的普通话模型/藏语模型；最后，合成出汉语普通话/藏语语音。实验结果表明，在已知手语的情况下，判断手语所表达的语义的语音的平均正确率分别为：其中单个字的为72.49％，词的为86.83%，句子的为96.36%；在播放合成出的语音的情况下，让懂手语的评测人来选择手语，判断是识别出的手语的平均正确率为89.87%。