生物特征识别技术由于其便捷和安全性已经被广泛地应用在当今社会中,而语音作为一种重要的生物特征,蕴含了非常丰富的信息,且由于智能设备的普及,说话人语音的采集成本也非常低廉。因此,对说话人的语音进行分析具有重大的实际应用价值。本文主要讨论了基于深度学习的说话人的声纹识别,并拓展讨论了语音的情绪识别。声纹识别部分又分为说话人辨认和说话人确认两个任务,而语音情绪识别将直接处理为一个多分类的问题。为了利用不同注意力机制的优势,本文提出了一种双路径的注意力机制,同时应用了自注意力和卷积模块注意力,在几乎不增加训练时间的条件下显著地提升了识别效果。前人基于三元损失提出了簇域损失,而本文针对说话人辨认任务又对该损失做出了进一步的改进,提出了加权簇域损失,该损失更加关注类间差异的增大,从而增加了临界样本被正确分类的几率;为了解决簇域损失在训练前期效率低下的问题,本文也提出了一种新颖的损失函数——临界增强损失,该损失额外关注了训练过程中每一步最容易且有必要优化的样本对,在结合了簇域损失之后,每一步中最难优化和最容易优化的样本都被同时考虑,也就加速了训练的进程,同时为簇域损失中的难损失赢得更多的训练时间,从而使得最终的优化效果得到进一步的提升。对于说话人辨认任务,本文在VoxCeleb1数据集上的Top-1准确率达到了92.0%,在CNCeleb数据集上的Top-1准确率达到了84.3%。对于说话人确认任务,当采用Voxceleb1数据集进行训练时,在验证集上的等错误率达到了5.1%,在扩大数据集VoxCeleb2上训练时,同一验证集上的等错误率降低到了3.52%。相比于基线模型,本文的改进方法均显示出了明显的优势。针对说话人情绪识别任务,本文提出了一种将Res Net与GRU结合的轻量神经网络,相比其他较新文献中的方法,本文用更少的参数和特征在IEMOCAP数据集上实现了相当的情绪分类结果,其中UA达到了67.9%,F1分数达到了0.675,参数量相对减少了16.2%。