实时语音翻译技术作为翻译技术的分支之一,具有非常丰富的应用前景,例如外语视频的字幕生成,国际会议同传翻译等等。然而,不同于相对比较成熟的机器翻译技术,实时语音翻译技术目前面临着巨大的挑战。由语音识别模型,机器翻译模型所构成的传统级联模型,在模型处理延迟、错误传导等问题上具有天然上的劣势。虽然目前端到端实时语音翻译模型可以规避这些问题,但是语音和文本作为两种不同模态的信息,端到端模型处理起来并不容易。同时,之前的研究表明Transducer端到端模型在语音识别任务上不仅能够实现非常低的错字率,并且具有非常低的流式输入输出延迟损耗。因此,本文将围绕Transformer Transducer模型在语音翻译任务上的应用展开研究,本文的主要工作以及创新点有:首先,本文根据语音翻译任务中音频序列与翻译序列对齐时语序不同的问题设计了新的Transformer Transducer模型,并提出了两种不同的Mask结构。本文在转录网络模块中使用了Conv-Transformer神经网络结构提取音频序列特征,在预测网络模块中使用了单向的自注意力Transformer神经网络对翻译序列进行建模,在共融网络模块中使用了交叉注意力Transformer神经网络对音频特征和文本特征进行交互建模。在模型推导阶段,本文设计了相应的两种分别适用于低延迟需求和高准确率需求场景下的流式解码方法。其次,本文围绕Transformer Transducer端到端实时语音翻译模型做了大量不同优化方法的消融实验。一、本文研究了预训练方法对于模型的影响,通过设计预训练语音识别模型、预训练语言模型两种不同的模型对Transformer Transducer模型进行参数初始化,研究该方法的有效性;二、本文研究了额外损失函数的影响,实验了离线语音翻译的损失函数、序列级Transducer损失函数正则化、翻译延迟损失函数对于Transformer Transducer模型的优化效果;三、本文研究了知识蒸馏方法对于模型的影响,实现了序列级知识蒸馏方法并通过实验分析了其对Transformer Transducer模型的优化效果。另外,本文还对比了Transformer Transducer模型与目前主流的端到端实时语音翻译模型的效果,并在MUST-C公开数据集上取得了非常好的成绩,特别是在低延迟区间内比目前主流模型提高了8-10左右的BLEU值。