作为一项强大的信号处理技术,盲源分离已经成为国际上的一个研究热点,并在通信对抗、语音信号处理、生物医学等应用领域得到了广泛关注。在现实的通信环境中,由于环境和成本的限制,有时无法布置大量的接收传感器,从而无法达到超定或正定盲源分离模型的要求。欠定盲源分离是盲源分离模型中的一种病态混叠情况,与传统的超定或正定盲源分离相比,欠定盲源分离模型更符合现实的应用需求,具有重要的研究价值,解决起来也更加具有挑战性。针对欠定盲源分离问题的研究,目前主要根据稀疏分量分析(SCA,Sparse Component Analysis)的思想,采用“二步法”进行求解,即第一步先根据观测信号估计出混合矩阵,第二步再利用估计出的混合矩阵从观测信号中分离出各个源信号。因此,在欠定盲源分离中,混合矩阵的准确估计是实现源信号恢复的前提。针对欠定盲源分离中不同的混合模型,本文分别研究了线性瞬时混合模型和线性延时混合模型下的混合矩阵估计方法。具体研究内容和成果概括如下:(1)在线性瞬时混合模型下,当源信号充分稀疏时,提出了基于相似度检测的混合矩阵估计方法和基于靶心检索的混合矩阵估计方法。基于相似度检测的方法主要包括预处理,源数目与混合矩阵估计以及聚类中心校准等步骤,预处理操作和聚类中心校准操作使得方法具有较好的抗噪性能和普适性。基于靶心检索的混合矩阵方法则是通过多次搜索观测信号采样点中的最大密度采样点以及其邻域范围内的采样点集合,计算出集合的聚类中心,作为混合矩阵列向量的估计。实验仿真结果表明,与现有的混合矩阵估计方法相比,本文提出的方法在源信号数目估计准确率和混合矩阵估计精度等方面都具有明显优势。(2)在线性瞬时混合模型下,当源信号非充分稀疏时,从不同的角度出发,研究了现有的一些混合矩阵估计方法,并根据盖尔圆估计准则(GDE,Geschgorin Disk Estimator)和独立分量分析(ICA,Independence Component Analysis)的思想,提出一种基于GDE和ICA的欠定混合矩阵估计方法,方法中首先以一定的时间间隔将观测数据进行分段处理,然后估计出每一段数据内的源信号数目,最后结合ICA方法和基于靶心检索的聚类思想,估计出混合矩阵。实验仿真结果充分验证了本文提出方法的有效性。(3)针对线性时延混合模型,利用源信号在时频域的稀疏特性,提出了基于时延聚类的混合矩阵估计方法。方法中将各路观测信号中计算出的相对时延参数组成标签向量,然后进行聚类分析,估计出各个源信号对应的时延参数,然后再重构出混合矩阵。仿真结果表明,本文提出的方法具有较高的源数目估计准确率和混合矩阵估计精度,总体估计性能要优于传统的二元时频掩模方法。