高速发展的计算机水平和音频处理技术,使得人们对于从海量数据中获取到感兴趣的人声,越来越有需求。另一方面,如何对获取到的各类音频进行合理有效的管理,也是目前存在的一大挑战。在此背景下,为了满足上述需要,说话人分离这一关键技术应运而生,其主要涉及两个过程：说话人分割和说话人聚类。说话人分离系统几乎无任何可供参考的先验信息使用,容易受环境或者建模方法的影响,使得分割和聚类时说话人片段的类纯度得不到保证。另外,基于距离准则的层次聚类方式一旦出现聚类误差,会一直的向上传递。因此本文主要在说话人分割和聚类的建模方法以及类别提纯上展开了探索和研究,主要工作和创新点如下：第一,说话人分离前端语音端点检测(Voice Activity Detection, VAD)和类别提纯方面的研究。针对基线系统中存在的低能量语音难以召回以及噪声难以去除的情形,引入了深度学习的方法,在分离前端进行改进。针对层次聚类时出现聚类误差向上传递的情况,提出了基于贝叶斯信息准则(Bayesian Information Criterion, BIC)的短时类别提纯方法,削弱由层次聚类带来的误差向上传递的影响。实验结果表明,基于深度学习的语音端点检测,能有效的降低说话人分离时的虚警和漏警,并且降低说话人分离错误率,且基于短时BIC类别提纯的方法,能更新部分聚类错误的说话人片段,提高后续说话人聚类的类纯度。第二,说话人转折点检测建模方法的研宄。探索了基于深度神经网络(Deep Neural Network, DNN)的建模方法在说话人转折点检测中的应用,利用其强大的模型表达能力,提高说话人分割的准确性。实验结果表明,这种基于深度学习的转折点检测建模方法相比于传统的BIC建模方法,无论是在转折点检测的准确率和召回率,还是对整个系统的分离错误率(Diarization Error Rate, DER)来说,都获得了一定的效果提升。第三,说话人聚类时的因子分析建模方法研究。传统的以贝叶斯信息准则作为相似性度量的说话人分离技术,在短时对话的分离任务中能取得较好的效果,但是随着对话时长的增加,BIC的单高斯模型不足以描述不同说话人数据的分布,且层次聚类时区分相同说话人和不同说话人的门限值难以划定。针对此问题,本文尝试基于短时BIC和长时概率线性判别分析(Probabilistic LinearDiscriminant Analysis, PLDA)融合的方法,充分利用BIC在短时聚类的可靠性和PLDA在长时段上的优异区分性,来实现说话人聚类过程。实验表明,因子分析框架下的说话人信息建模方法能有效的降低说话人分离错误率,使得性能相对提升34.2%。第四,说话人聚类过程中的变分贝叶斯(Variational Bayesian, VB)调优方法研究。通过与因子分析框架下的全差异空间相结合,将传统的层次聚类方式转化为在保证最优化目标函数的前提下,对某个片段属于某个说话人的最大后验概率估计的一种软聚类方式。依据此方法,将层次聚类时因误差上传而出现错误的说话人片段进行重新调优,达到提高后续PLDA聚类的初始类纯度,进而降低说话人分离错误率。