手语是一种基于视觉的语言,它为聋哑人士提供了交流的媒介。手语翻译与生成技术研究与计算机视觉、自然语言处理、跨媒体计算以及人机交互等多个前沿研究领域密切相关。早期的研究者致力于离散手语动作的识别,其研究可以追溯到30多年前。近年来,由于深度学习技术的发展,越来越多的工作开始关注于连续手语翻译和手语视频生成。虽然一些最新的研究技术在手语研究中取得了广泛的成功,但手语翻译与生成研究依然面临着诸多困难与挑战。（1）手语翻译是一项典型的弱监督序列学习任务。由于手语数据集通常仅有句子级别的注释,而缺少每个手语动作确切时间位置,手语翻译和生成的过程都不可避免地需要考虑监督不足的问题。（2）手语视频的时序语义表征是复杂的。手语是一种包含面部微动作、手指局部动作和肢体运动的多类型视觉表达,这导致需要在不同的时间尺度和空间粒度上去理解手语视频。（3）手语翻译涉及一些混合语义学习的挑战。如何在统一的框架中对多模态线索进行联合表征以及实现跨模态数据的语义对齐仍然是难以解决的。（4）手语生成面临输入文本语义薄弱的问题。与复杂的视频输出相比,输入手语语句的语义是薄弱的,如何在手语视频生成过程中强化文本语义的引导也是亟待解决的问题。为了解决上述问题与挑战,本文提出了一系列用于手语翻译和生成任务的方法,主要研究内容总结如下:基于在线联合优化的伪监督手语翻译算法。针对手语翻译任务中的弱监督和时序语义表征问题,提出一种带有联合损失优化的连接主义时序建模方法。首先,该方法设计了一个双流的短期时序学习阶段,包括一个实现（2D+1D）=伪3D卷积特征学习的时间卷积金字塔模块,以及一个用于小范围的时空联合建模的3D卷积模块。然后,使用双向循环神经网络和连接主义时序分类网络实现了用于长期时序学习的动态解码方案。该方案直接学习视觉特征、手势标注和生成语句之间的时序映射,其得到的标签对齐方案被视为伪标签。最后,利用上述步骤得到的伪监督线索,使用联合损失优化函数,在端到端框架中同时衡量特征相关性、手势标注的熵正则化和句子解码的概率最大化。该方法在不引入额外监督的情况下实现了比其他在线翻译模型更好的性能。基于多模态序列图嵌入的手语翻译算法。手语翻译研究常常涉及来自多源的手语输入信号,因此需要考虑多模态特征之间的跨模态关联性学习问题,同时还需要探索模态内部的时序相关性。针对上述问题,提出一种基于图神经网络的多模态序列特征嵌入方法。具体来说,构建了一个图结构来实现模态间和模态内的相关性学习与时序性探索。首先,该方法设计了一个图嵌入单元,它将具有通道和时间学习的并行卷积嵌入到图卷积网络中,以学习每个模态序列中的时间线索和跨模态互补性。其次,提出了具有池化跳连的分层图嵌入单元堆栈器。为了获得多模态序列的紧凑且信息丰富的表示,分层图嵌入单元堆栈器逐渐压缩通道维而不是时间维度,从而保留更多的时序线索。最后,采用连接主义时序解码策略来探索整个视频流上的时间关联性,并将特征序列转换翻译成完整的手语句子。该方法在统一的模型中同时解决了短期时序线索挖掘和多模态互补性学习的问题。基于文本语义增强的手语姿态生成算法。针对手语生成任务中相对于视觉内容文本语义更薄弱的问题,提出了一种带有在线反向翻译的手语文本语义增强网络。区别于现有方法仅关注姿态坐标的回归预测（即尽可能地拟合姿态坐标的真实标签值）的做法,提出的方法强调对文本语义引导的强化和对跨模态语义一致性的约束。具体来说,该网络由手语词编码器、姿态解码器和在线反向文本解码器组成。首先,在基于转换器模型的手语词编码器中,引入了一个可学习的手语词标记,该标记在无需任何手语先验的情况下探索整个手语词序列的全局上下文依赖。其次,设计了一种递进式的手语姿态循环解码模式。在姿态解码期间,手语词标记被聚合到已生成的姿态序列上作为语义指导。然后,聚合特征与整个手语词嵌入向量进行交互并生成下一时刻的姿态。最后,设计了一个反向手语词解码器,它将生成的姿态反向翻译为手语语句并与原始语句进行对齐。该模型在手语生成期间保证了手语词到姿态和姿态到手语词双向转换过程中的语义一致性。