端到端模型在构建各种自然语言处理（NLP）模型方面取得了快速发展。多年来,循环神经网络（RNN）一直是构建端到端模型的最佳选择。最近,一种新型的端到端模型Transformer在翻译任务中表现十分出色。Transformer在构建端到端自动语音识别（ASR）系统方面的应用也成为趋势。然而,Transformer ASR系统通常被训练为按从左到右的单向处理,而不考虑其反向的上下文,其双向模型采用两个解码器进行双向解码,在计算和优化方面很复杂,并需要额外的方法（例如自掩码）来解决注意力机制中的信息泄漏问题。针对上述问题,本文研究开发了一种新的语音Transformer应用机制,该语音Transformer利用配备双向上下文嵌入（BCE）的解码器进行双向解码,其主要包括四个主要方法模块,它们是转换器的一般方法、双向上下文嵌入方法（BCE）、语义掩蔽方法和双向波束搜索（BBS）方法。本文的Transformer模型保持了Transformer的一般结构,只是Encoder和Decoder中的位置编码层分别替换为VGG16和1D卷积层。解码器中的另一个关键是添加了BCE。在解码方向输入位置添加了BCE,它使模型能够处理不同的方向上下文信息,而无需额外的解码器,还可以减轻其他信息泄漏问题。此外,本文还采用了一种语义掩蔽方法,以提高模型的准确性,尤其是在有噪声输入的情况下。最后,通过双向波束搜索方法验证了本文方法的有效性,该方法生成双向输出序列并根据输出分数确定最佳结果。我们在Libri Speech的clean/other测试集上实现了7.65%/18.97%的单词识别错误率（WER）,比单一从左到右的解码性能超过3.17%/3.47%。整个实验结果也接近或优于其他最先进的端到端模型。在本文研究中,主要目标实现与贡献有:（1）我们探索了不同的选项并实现了一种改进的语音Transformer,该Transformer依赖于配备BCE的单个解码器进行双向解码。与采用两个解码器的方法相比,这显着降低了计算复杂度。（2）端到端训练BCE,每个解码方向都有唯一的句子开始标记,允许具有单个解码器的模型直接生成从右到左的输出,而无需先生成从左到右的输出。这种方法消除了注意力机制中可能存在的信息泄漏。（3）在解码阶段实现了一种生成双向输出序列的BBS方法,并进行了广泛的分析,以显示模型在不同波束大小下的有效性。本文模型取得良好的系统准确率,相关实验主要通过离线语音识别进行测试。目前还未针对在线语音识别进行优化。因此,未来研究将重点探索在线学习等其他在线优化方法,为在线语音识别应用场景提供支撑模型。