互联网时代,视频是重要的数据载体之一,对于非母语者或者有听力障碍的人,字幕可以有效地帮助他们理解视频内容。随着人工智能的迅速发展,视频字幕自动生成成为可能,应用的关键技术就是自动语音识别。传统语音识别方法结构复杂,包括声学模型、发音模型、语言模型三个模块,每一个模块都需要单独训练和优化,训练难度大且难以全局优化。因此,本文将研究重心放在了更有前景的端到端模型上。在语音识别领域的端到端模型中,基于注意力机制的编码器-解码器模型表现最出色,其利用神经网络的记忆能力完成输入到输出之间的映射。但是此模型在数据量不足的情况下,难以有效学习序列间的对齐。因此本文的语音识别模型基于联结时序分类器（Connectionist Temporal Classification,CTC）与注意力机制进行搭建,利用CTC的对齐能力辅助注意力解码器的解码。另一方面,使用基于自注意力机制的基础单元搭建解码器和编码器,相比递归神经网络,其时序特征提取能力更强,并且运算速度更快。根据语音识别的特点,在编码器和解码器的输入端,分别采用二维卷积单元和一维卷积单元用于维度调整和位置编码。此外,为了增强模型语言建模能力,受到其他数据增强方法的启发,提出基于词掩蔽的数据增强方法,在模型训练过程中,以词为单位掩蔽部分频谱特征,提高模型的语言建模能力。通过该方法,在数据集Libri Speech-clean-100上进行初步训练后,在Dev-other和Test-other测试集上的词错误率分别降低了2.4%和2.5%。基于上述方案,最终模型在包含自制数据集的综合数据集上词错误率仅10.3%。基于上述研究成果,结合视频字幕生成场景,本文设计并实现了基于语音识别的视频字幕自动生成系统,并且利用多种分布式中间件构建计算集群,高效协同完成字幕生成任务。进一步验证了本文模型与改进策略的实用性。