现阶段,语音交互技术例如语音合成、自动语音识别(automatic speech recognition,ASR)等在现实生活中得到广泛的应用,但在真实环境下伴随着如背景噪声、多个说话人声及混响等相关干扰因素,降低了说话人语音的听感和可懂度,从而影响语音交互的实际效果。而语音分离与跟踪技术,即为解决从多个说话人干扰或者其他背景噪声中获得高保真、高纯净的目标说话人语音信号的问题,可应用于嘈杂环境下的会议记录、公安刑侦监听以及语音身份认证等领域,具有广阔的应用前景及研究价值。本文对语音分离的理论和相关的算法进行了研究,分别针对语音分离、声纹识别等相关算法模块进行具体描述,就以生成对抗网络改进语音的时频掩蔽、以说话人识别为基础的语音跟踪展开深入研究。其主要工作如下:首先,介绍了基于时频掩蔽的神经网络语音分离算法原理,阐述了采用LSTM对语音信号建模在抽取时序特征的优势,分析了当前监督性语音分离中仍存在不足之处。然后采用了基于生成对抗网络的语音分离方法,在语音生成阶段引入一种递归推导算法和稀疏编码改进时频掩蔽的生成,并接入判别器分类对真、假语音信号进行判定,使得生成的信号不断地逼近目标语音信号,降低信号源间的扰动。然后,提出了基于说话人识别的说话人语音跟踪,即仅利用说话人识别及语音分离的纯音频技术,实现端到端的语音跟踪。其中,在说话人识别部分,分析了经典声纹识别模型GMM模型在少量语料下的不足之处,然后采用GMM-UBM说话人模型对目标说话人建模,以构建说话人辨认系统;在说话人语音分离部分,验证了增大语音时间帧输入可避免多次聚类导致的类别置换问题,并对说话人语音分离方法进行改进,具体包括在K-means聚类中对质心进行缓存及降低采样率,以提高语音分离的实时性,优化其损失函数,对其中的embedding特征空间引入正则项,并验证语音跟踪可行性。最后,本文采用MIR-1K与TIMIT语音数据集对上述对应的方法进行了实验仿真,实验结果表明生成对抗网络对引入噪声(SAR)的抑制能力比较强,GMM-UBM模型在短时语音的测试中仍然具有较高的识别率,且在说话人语音分离算法中对损失函数以及聚类过程的优化,可以有效提高算法的实时性及其语音分离质量。