语音增强任务可以分为干扰抑制和声源分离两大类任务,是当今语音信号处理领域重点研究方向之一,同时也是自然语言处理关键前端技术之一,具有重要的研究价值。由于传统语音增强算法对信号做出的假设限制了其应用场景,具有强泛化能力的神经网络算法成为了主流的算法。为此,本文主要围绕基于神经网络的语音增强算法展开了一系列研究。1)针对干扰抑制问题,以时域卷积神经网络作为基础结构,重点考察了掩蔽机制、优化准则、残差块结构等因素对标准干扰抑制神经网络的性能影响。通过结合一维化的倒置瓶颈层和带洞卷积算法,本文给出了基本干扰抑制模型。同时,通过分析目前主流损失函数提供的优化方向,提出了基于波形的角度距离的优化准则。对比实验表明,相较于基线模型,所提干扰抑制模型产生了 0.2dB的尺度不变信噪比增益。2)为进一步提高所提干扰抑制模型的重构语音质量,结合参考信息与该模型形成了自适应神经网络。该网络包含了骨架网络与参考信息提取器两部分。两者组成的干扰抑制系统具有自适应的特性,能够根据输入语音的特性自动调整部分特征,二者结合用于干扰抑制。仿真实验表明,自适应网络与具有同等参数规模的干扰抑制模型相比有0.38 dB的尺度不变信噪比增益,并且在客观语音质量评估与短时客观可懂度百分比指标上,所提模型相比于基线模型分别有着0.08和0.87的增益。3)针对说话人数量未知且可变的声源分离任务,本文在自适应神经网络的基础上研究了声源计数和分离算法,实现了输出数目可变的声源分离系统。所提模型是一种能够同时产生时频级别的嵌入特征与声源质心的参考信息提取器,以规避深度聚类算法中的聚类操作。同时,利用其质心估计模块可微的特性,提出了动量对比训练算法使得无效的质心得以聚集,并按照阈值去除。仿真结果表明,所提系统可在一定程度上解决声源计数问题,其中声源数目估计准确率达到了95.71%,且输出语音质量比基线模型有着接近的1.12 dB的尺度不变信噪比改善。