在现实生活中，经常会遇到未知源信号及其混合信道的情况，人们能够得到的有效信息仅仅是源信号经混合以后得到的观测信号，在这种可利用信息极少的情况下，如何将源信号分离出来就成为了信号处理领域的一个难题。盲源信号分离因为能够有效地解决这一难题而成为近几年信号处理领域的研究热点，它广泛应用在生物医学工程、语音增强、数字通信系统、图像分析与处理、遥感、雷达和声纳等领域。盲源信号分离可以有多种分类方式，如果按照混合信号和源信号的个数关系分类的话，盲源分离可以分为欠定、正定和超定三种。以往的研究大多针对超定盲源分离，即源信号个数必须小于混合信号个数的情况，目前超定盲源信号分离问题由于大量的学者投入精力去研究，这一问题已经趋于成熟。然而，在实际情况中超定盲源分离问题的条件并不能完全满足，因此，本文针对大多数实际情况，重点研究欠定盲源信号分离，即源信号个数大于混合信号个数的情况。目前解决欠定盲分离问题的主流方法是基于信号稀疏性的“两步法”，即首先估计出混合矩阵然后再利用相应的分离技术得到源信号。在“两步法”中，混合矩阵的估计精度直接影响到最后分离信号的精度，因此混合矩阵的估计技术是解决欠定盲分离问题的关键技术。目前解决混合矩阵估计问题的方法主要是聚类法，常用的聚类方法有模糊C均值聚类算法、K-均值算法等，然而这些聚类算法大都存在着缺陷。针对传统聚类算法容易受到初始聚类中心影响的缺点，本文提出了一种基于改进人工蜂群算法和K-均值的混合聚类方法，充分结合了人工蜂群算法的鲁棒搜索能力和K-均值算法的快速收敛能力，实验结果表明，混合聚类算法在算法收敛时间略有增加的前提下能够有效克服传统聚类算法过于依赖初始聚类中心的缺点，提高了聚类结果的鲁棒性。由于观测信号空间存在大量的孤立点和噪声点，这些点的存在会使聚类中心与真实情况产生较大偏移。混合聚类算法虽然有效改善了估计算法的鲁棒性，但是不能克服孤立点和噪声点对聚类中心的影响，为此本文又利用网格密度法来修正混合聚类算法得到的每一类聚类中心，实验结果表明，与传统的混合矩阵估计算法相比，本文算法在混合矩阵的估计精度方面有了明显的提高。通过上述两个方面的改进，本课题最终实现了一种基于混合聚类和网格密度的欠定盲分离混合矩阵估计新算法，该算法在矩阵估计的鲁棒性以及估计精度方面都比传统算法有了明显的改善。