语音分离技术在语音信号处理系统及人工智能系统中有广泛应用。在实际环境下，传统的语音分离算法在低信噪比和高混响条件下存在泛化性能差等问题。本文结合人耳听觉感知特性，基于空间空间特征和谱特征，研究了基于深度神经网络的双耳语音分离方法。论文主要提出以下两种算法：基于前后帧信息的卷积神经网络CNN (Convolutional Neural Networks)双耳语音分离方法，基于语谱图和空间特征的深度聚类DP(Deep Cluster)语音分离算法。
　　(1) 基于前后帧信息的卷积神经网络CNN双耳语音分离方法。基于Gammatone滤波器组模拟人耳的时频分析特性，将原始语音信号经过处理后得到时频单元，对时频单元提取双耳空间特征参数，包括耳间互相关函数 CCF(Cross Correlatin Function),耳间时间差ITD(Internaural Time Difference)以及耳间强度差ILD(Internaural Level Difference)。过往的语音分离算法只利用了当前帧的信息进行语音分离，而本文利用语音在时序上具有连续性这一特点，在提取得到空间特征后，拼接当前帧前、后各两帧的空间线索，得到耳间的空间特征图作为卷积神经网络的输入。本文选择SAR(Sources to Artifacts Ratio)、SIR(Source to Interferences Ratio)、SDR(Source to Distortion Ratio）及PESQ(Perceptual Evaluation of Speech Quality)作为分离结果参考指标，仿真结果表明此算法在低信噪比时显著优于基于IBM(Ideal Binary Mask)的DNN(Deep Nerual Networks)。
　　(2) 基于语谱图和空间信息的深度聚类DP语音分离算法。由于语音在时序上具有相关性，因此使用循环神经网络RNN(Recurrent Neural Networks)可以更好对语音信号进行建模。本文选取双向长短时记忆单元BiLSTM(Bi-directional Long Short-Term Memory)作为编码器，融合了谱特征和空间特征，提取语音信号的对数幅度谱以及耳间相位差IPD(Internaural Phase Difference)作为输入的特征向量，将时频单元映射到高维空间。测试时，将高维空间向量通过K-Means聚类完成对时频单元的分类，结合混合语音进行重构得到目标信号。实验结果表明，基于深度聚类的语音分离算法，充分地利用了谱信息和空间信息，相较于基于前后帧信息的CNN的网络在SAR、SIR和SDR有明显提升，分离性能良好。