语音识别技术是人机交互应用的基础,在机器翻译机、人机对话问答系统和智能会议实时字幕等系统上具有重要的应用价值。目前,越南语的语音识别研究工作相对较少,主要使用英语、法语等主流语言的基于深度神经网络隐马尔可夫的传统混合模型,近期,基于序列到序列的方法逐渐成为学术界的研究热点。然而,不同于主流语言,越南语是一种稀缺资源,面临语音训练语料库稀缺的问题,难以在当前需要大规模训练语料的语音识别模型上取地很好的效果,其次,越南语是一种单音节声调语言,最小结构单元是音节,在语音识别模型中,一般采用音节、音素作为越南语的识别单元,由于对越南语音节划分界限的定义模糊,使得这些识别单元存在不合理的问题。最后,越南语的每个音节具有6个声调,不同声调代表不同的意思,从而使得越南语词、实体组合方式复杂多样,具有不同声调的相同词、实体其语音发音相似,当前的声学模型缺乏对语音内容的理解,存在难以区分越南语词、实体多粒度相似发音的问题,使越南语的语音识别效果不佳。针对以上问题,论文主要完成了以下研究工作:（1）基于多粒度纠错的越南语语音识别训练语料库构建针对越南语语音训练语料库稀缺的问题,首先,分析越南语语音和文体数据获取的策略,利用爬虫技术从互联网上获取一部分语音-文本平行语料相和相对较多的越南语文本单语数据,语音-文本平行语料经过去重、提取音轨、切割存储等预处理操作后存储到数据库,目的是得到带有噪音环境的真实语音,越南语文本单语数据经过去重、去噪等预处理后得到干净的单语文本数据,目的是为后续扩充语料做准备。其次,在安静的环境下,我们采用录音设备人工录音一部分越南语语音,目的是得到干净的真实语音。最后,我们采用语音合成技术将干净的越南语文本合成与之相对应的语音,得到语音-文本平行语料,目的是扩充越南语语音训练语料库。实验结果表明,通过网络爬取、人工录音和语音合成技术构建的语音训练语料库能够满足语音识别模型在真实应用场景下对训练语料库的基本需求。（2）基于子音节的越南语语音识别方法针对越南语识别单元划分不合理的问题,分析越南语特点,引入越南语的音素、字母、音节、子音节和词五种多粒度建模单元探索,提出一种基于子音节的划分越南语的方法。为后续语音识别多粒度检错纠错研究工作找到最适合的识别单元。首先根据越南语的组成单位元音、辅音和六个声调构建72个字母字典,然后根据字母字典对训练文本数据拆分为辅音、音调集两部分较小的子音节单元进行建模。最后,实验结果表明,相比基线模型,提出方法的识别效果更优。（3）基于多粒度纠错的越南语语音识别方法针对当前模型难以区分越南语相似发音序列问题,提出一种基于多粒度纠错的越南语语音识别方法。目的是对越南语语音识别结果进行词、实体识别错误检测并对识别错误的词、实体纠正,使得最终的模型输出结果符合语音的表达内容,提升模型的语义表达能力。在基于（1）的构建的语音训练语料库上训练语音识别模型,根据识别结果标注词、实体识别错误的多粒度平行语料,然后采用（2）中的基于子音节的建模单元对训练语料的文本数据建模,训练时融入多粒度进行解码。实验结果表明,对语音识别结果检测多粒度错误并融入多粒度纠错明显提高了语音识别模型对句子的语义表达能力。（4）基于多粒度纠错的越南语语音识别原型系统基于上述相关理论研究,搭建了基于多粒度纠错的越南语语音识别原型系统。该系统主要针对越南语的语音识别,系统的功能模块包括越南语语音的输入、越南语语音转写、输出功能以及将训练好的语音识别模型部署应用等。