信道均衡是通信系统抗衰落的三大技术(分集接收、信道均衡、信道编码)之一,用来解决由于信道的非线性和时变性引起的码间干扰问题,其本质是对信道或整个传输系统特性进行补偿。传统的自适应均衡技术需要定时发送训练序列以调整均衡器的参数,浪费了有限的信道带宽。盲均衡作为一种无需借助训练序列,仅利用接收序列本身的先验信息进行信道补偿的自适应均衡技术,近几年来一直是通信信号处理领域的研究热点。Bussgang类算法是目前最常被采用的一类盲均衡算法,但由于其非理想的有限长滤波器使得代价函数为非凸的,因此会导致求解的均衡器系数陷入局部最优解,存在误收敛现象。为此,学者们提出了基于支持向量回归机(Support Vector Regressor,SVR)的盲均衡方法,克服了Bussgang类盲均衡算法非凸代价函数的缺点。但是SVR盲均衡算法中参数的选取一般都是凭经验指定,或是通过交叉验证程序来确定,这就增加了算法的复杂度。本文重点研究了一种新的基于高斯过程回归(Gaussian process regression,GPR)的盲均衡算法,它优化超参数与获得最优均衡器输出为同一个过程,且不需要交叉验证程序,提高了算法的效率。本文介绍了盲均衡的基础理论,Bussgang类盲均衡算法以及SVR盲均衡算法的原理,并通过实验验证了SVR盲均衡算法相比于经典的Bussgang类盲均衡算法,如常数模算法(Constant Modulus Algorithm,CMA)和多模算法(MultiModulus Algorithm,MMA)的性能优势。在此基础上,阐述了基于高斯过程回归的盲均衡理论以及基于GPR的常模信号盲均衡算法,进而提出了基于高斯过程回归框架的多模信号盲均衡算法,给出了完整的理论推导和实验验证。为了证明本文所研究的算法的优势,我们通过仿真实验将GPR盲均衡算法与CMA、MMA以及SVR盲均衡算法进行了性能比较,结果表明,与SVR盲均衡算法相比,GPR盲均衡算法的优势为:(1)参数选择没有繁琐的交叉验证过程;(2)优化超参数与获得最优均衡器输出为同一个过程;(3)收敛速度快,且性能稳健。此外,本文提出的基于高斯过程回归框架的多模盲均衡算法更适合对高阶QAM信号进行均衡。