语音识别、声纹识别等语音处理模型由于其成本低、效率高等优点被广泛应用于智能会议、客服会话处理场景中。然而,若对未经处理的音频操作,识别效果不仅会受到环境或噪声等其它因素的影响,而且不同人连续说话这种现象会对语音模型产生限制,这些不良影响会导致语音处理模型性能的下降。说话人差异性分析任务能够根据音频信号生成对应的更加结构化的文本信息,使其它语音处理模型能够针对每一位说话人在其对应发声时间内的信息作处理。本文深入研究说话人差异性分析的各个模块,设计出一种基于混合深度神经网络的说话人差异性分析模型,具体工作如下:1.针对语音分割得到的语音片段需仅有唯一说话人信息的问题,以语音信号和频谱图为对象,本文设计双向长短期记忆神经网络构建语音分割模型,利用语音信号的时序信息在时间上下文建立依赖关系,通过分类结果对语音段进行分割。相比于基于能量的语音活动检测模型,虚警和漏检率分别降低了2.42%和1.2%,同时,使得说话人差异性分析错误率平均降低了5%。2.针对说话人声纹特征向量质量不高的问题,通过构建基于深度残差交替卷积神经网络的模型,使用残差连接利用原始信息,增强了模型的训练效果。同时,相比于基于Res Net、Res Ne Xt、X-vector等网络的说话人差异性分析模型,使用了局部加全局注意力机制执行特征重新校准,提高了说话人声纹特征向量的质量,达到了降低说话人差异性分析错误率的目的。并且在模型构建过程中加入轻量化设计思想,使模型参数量达到761万,最终在Voxconverse数据集上说话人差异性分析错误率为4.12%,在AMI数据集上为7.34%。3.针对在没有说话人数量的先验知识条件下,怎样聚类得到合适的说话人类别数的问题,引入近邻传播聚类方法（Affinity Propagation Clustering）,结合基于Bi-LSTM的语音分割模型与深度残差交替卷积神经网络构建完整的说话人差异性分析模型。相较于层次聚类与谱聚类,错误率平均下降了1.1%,并且突破了分类数量先验知识的限制,实现了随机说话人数量的聚类。