语音识别是人工智能领域的重要研究方向之一,它能将语音信号转化为对应的文本序列。目前关于语音识别的研究主要集中在基于深度学习的端到端技术上。深度学习模型通常需要等长的输入输出单元,但由于单个文本单元往往对应着连续多个语音帧,导致它们的序列长度不一致,因此,学习语音和文本序列间的对齐关系是端到端语音识别需要解决的关键问题之一。根据是否需要学习帧级的对齐关系,端到端语音识别技术可分为混合对齐型和软对齐型两类。前者先生成帧级对齐关系,然后通过聚合所有可能的帧级关系来生成序列级对齐关系。这类方法会不可避免地存在不合理的帧级对齐关系。为此,后者不进行帧级对齐,而是基于文本单元应与连续且少量帧构成的语音片段一一对应的事实,直接学习两者间的序列级对齐关系。基于注意力机制的编解码模型是应用最为广泛的软对齐方法,其从左向右逐个生成文本单元,由于文本单元与其对应的语音片段具有相同的出现顺序,因此多个解码时刻的关注片段位置具有从左向右的连续单调性。然而,先前的方法大都没有考虑上述稀疏及单调的结构化特性,并且在学习过程中缺乏对每一时刻注意力机制所关注片段对应语义内容的独立控制与优化,导致所关注的片段会盲目变化。尽管近年来有部分研究开始尝试利用历史关注位置信息,来限制每一时刻关注语音片段的挑选过程,但仍无法约束其位置单调变化,以及仅包含与文本单元相一致的语义信息。因此,迫切需要研究对关注语音片段的结构和语义进行约束,以解决其盲目变化的有效方法。本文将从语音-文本对齐时的单调连续性约束和语义一致性约束两个方面展开研究,主要内容及创新工作如下:（1）在单调连续性约束方面,针对历史注意力得分不稳定所导致难以获取准确的历史关注位置信息的问题,通过将语音序列沿时间维度映射到低维线性子空间中,来提取包含完整时序和内容信息的概要嵌入。接着,将该嵌入与包含历史识别单元信息的解码器状态相结合,来生成全局位置约束向量,并用其来约束模型在历史关注位置附近选取语音片段,以避免错误历史关注位置信息所带来的影响。进而提出基于全局连续性约束软对齐的端到端语音识别方法。实验结果表明,所提出的方法可以有效提升识别性能;（2）在基于全局连续性约束软对齐的端到端语音识别方法的基础上,针对模型关注内容语义上不够明确,以及可以被重复关注的问题,借助组稀疏约束来使模型仅关注连续且少量的帧。同时,为避免重复关注相同片段,通过限制片段累计接收注意力得分的上界来约束模型均匀关注所有的语音片段。进而提出基于全局单调连续性约束软对齐的端到端语音识别方法。实验结果表明,所提出的方法可以使模型的注意力得分更加集中,从而进一步提升识别性能;（3）在语义一致性约束方面,针对传统训练方法无法确保所关注语音片段中,仅包含与输出单元相一致的语义信息的问题,考虑到互信息能有效衡量随机变量间的相关性,因此,通过增大关注语音片段与候选识别单元间的互信息来增大其对应语义信息的一致性。首先利用神经网络模型来预测瞥表示与解码器状态间的互信息下界,然后利用语义一致性约束优化目标来提升该下界,以增大二者间的一致性。进而提出基于语义一致性约束软对齐的端到端语音识别方法。实验结果表明,所提出的方法可以有效减少模型对识别无关语音片段的关注,从而提升识别性能;（4）在基于语义一致性约束软对齐的端到端语音识别方法的基础上,针对一致性约束与识别优化目标的优化速度与方向,在训练时可能存在冲突的问题,通过动态调整不同优化目标相对于共享参数的梯度,来避免上述冲突,以获得多个目标共同的最优解。首先通过对该梯度进行模长归一化来平衡两个目标的优化速度,然后在前一优化目标的归一化梯度附近,寻找与后一目标所对应梯度正相关的方向作为平衡梯度方向。接着,利用前一个归一化梯度在该方向的投影来更新模型参数。进而提出基于语义平衡一致性约束软对齐的端到端语音识别方法。实验结果表明,所提出的方法可以有效平衡一致性约束与识别优化目标的优化速度与方向,从而进一步提升语音识别系统的性能。