随着社会的发展,短视频行业的兴起,使用短视频进行传播信息也越来越多。短视频比传统文字和图片传递的消息更丰富,而且易于理解。但是对于大部分短视频来说,没有相应的字幕,这对很多需要字幕的人来说无疑是个难题,例如听力障碍或者语言障碍等人群。而且通过加一些特效字幕,能提升视频的观赏性。随着教育行业的兴起,英语教育也是一个很重要的部分,提供英文字幕和中文字幕对于这些教育视频来说也是非常重要的,用户可以通过字幕,很容易理解视频内容。此外,由于短视频业务字幕编辑困难,而且需要字幕和语音在时间上同步,对于需要字幕的视频编辑用户来说也是比较耗时的操作,而且手工操作会存在一定的误差。因此本文主要阐述了基于语音理解的自动字幕生成系统,该系统为用户提供自动字幕服务,不仅支持中文字幕,而且支持英文字幕,节省用户大量时间,提升用户的体验感。该系统主要的功能模块包括ASR语音识别模块、AED语音事件检测模块、任务调度模块、ITN数字标准化模块、自助测试模块、字幕模块、API Gateway模块等。本文不仅对系统功能性需求进行详细的描述,对非功能性需求也进行深层次的介绍。其次,对系统的总体架构和层次架构做一个全面的阐述。之后,描述ASR语音识别的特征提取算法MFCC,语音识别模型LSTM+CTC。之后对各个模块涉及到的算法进行详细介绍,对于任务调度模块使用的是拓扑图结构相关算法,对于API Gateway模块使用的是平滑加权负载均衡算法,对于自助测试模块使用的是ARes加权蓄水池抽样算法和编辑距离算法,对于字幕模块使用的是AC自动机多模式匹配算法。该项目使用大量的传统算法,说明了传统算法应用也非常广泛。对于语音识别、语音事件检测,机器学习深度学习在该领域能达到非常好的识别效果。本项目使用传统的C/S架构,使用Linux操作系统、C++语言作为服务器开发,使用python作为客户端开发,使用多集群部署保证系统的可靠性,使用redis作为缓存、hive处理大数据等等。通过Thrift rpc和http来处理请求,通过API Gateway来分发请求到相应的机器上,减缓了系统的压力,保证系统的高可用性。本项目已经在多个短视频软件上提供服务,用户可以通过使用自动字幕系统方便快捷的编辑短视频,为短视频添加字幕。