由于复数形式与实数形式相比能够更简洁清晰地表征信号与系统的幅度和相位信息,使其在当今的理论科学和工程领域得到了越来越广泛的应用。然而,在许多复数信号的应用的场景中,复数区别于实数的一个重要的特殊性质——非圆性常被忽视。本文重点关注两种导致信号呈现非圆性的原因——同相/正交(in-phase/quadrature,I/Q)不平衡和正交频分复用/交错正交幅度调制(OFDM/OQAM),针对I/Q不平衡测量与补偿,全双工收发机自干扰消除等实际应用问题展开研究,提出相应的复数自适应滤波器算法并对这些算法的性能进行了理论分析以及仿真和实验验证,实现了理论和应用的源头创新。本文的研究工作主要包括以下几个方面:提出了一种适用于采用OFDM制式的无线局域网(wireless local area network,WLAN)发射机的I/Q不平衡测量方法。该方法属于仪器级别的测量方法,它能够将频率选择性信道的影响从发射机的I/Q不平衡中排除出去,从而准确地得到I/Q不平衡的测量结果。测量方法分为两个步骤进行:第一阶段,利用信号的二阶统计特性和子载波间的独立性假设进行自适应的盲估计,获得信道与I/Q不平衡的混合估计量。随后利用WLAN协议中的训练序列对将信道系数解耦,并得到幅度和相位不平衡的粗估计。第二阶段,对WLAN信号的DATA段数据进行解调,再通过解调后的数据进行I/Q不平衡的精估计。所提出的I/Q不平衡测量算法通过MATLAB仿真和真实测量环境进行了验证,体现出所提出的算法在I/Q不平衡估计精度上的优势,并且这种优势在当发射机采用高阶调制和高速码流的时更为突出。提出了一种适用于OFDM/OQAM接收机的盲的频率选择性I/Q不平衡补偿算法。说明了对于OFDM/OQAM系统,在相邻子信道之间的相位偏移因子不同的情况下会出现二阶圆和二阶非圆两种情况。对于圆性的OFDM/OQAM信号,使用基于牛顿零点搜索的盲自适应算法;而对于二阶非圆的OFDM/OQAM信号,利用信号的循环平稳非圆二阶统计特性中隐含的二阶圆性条件,提出了一种周期性的盲自适应补偿方法。这套基于时域的补偿方案可以绕开频域补偿方法中遇到的固有干扰问题,并且在不需要导频的条件下,可以得到理想的镜像干扰抑制性能。所提出的方法也可以在快速傅立叶变换模块前作为镜像消除预处理模块。仿真实验表明,该算法在与标准的导频方案和信道均衡方法结合后,可以得到满意的误码率。提出了一个适用于全双工直接变频收发机的ANCLMS数字自干扰消除器。针对天线公用方案的直接变频全双工收发机,对与宽线性模型相对应的增广复数最小均方(augmented complex least mean square,ACLMS)自干扰消除器进行了完整的均值和均方收敛性能分析。理论结果说明了ACLMS自干扰消除器在发射功率较大的情况下是次优的。为了在这种情况下取得理想的信干噪比,提出了一种复数增广非线性最小均方自适应自干扰消除器(augmented nonlinear complex least mean square,ANCLMS)。它利用了宽非线性模型,可以联合消除线性自干扰,镜像自干扰,非线性自干扰和非线性镜像自干扰。通过对ANCLMS自干扰消除器的性能进行严格的数学分析,证明了其相较于ACLMS的优势。最后使用了符合WLAN协议规范的OFDM信号来仿真验证上述的理论结果。提出了一个适用于全双工直接变频收发机的DC-NCLMS数字自干扰消除器。通过从二元实数的角度理解全双工收发机的自干扰消除问题,提出了一种非线性双通道复数最小均方(dual channel nonlinear complex least mean square,DC-NCLMS)自干扰消除器。DC-NCLMS自干扰消除器利用了复数的二元性,将ANCLMS的最小均方误差(mean square error,MSE)函数分成独立的两部分并分别优化,最后合并两部分的结果作为消除器输出。通过对DC-NCLMS自干扰消除器进行完整的均值和均方的收敛性分析以及稳态性能分析,以及运算复杂度分析,证明了其在达到最优非线性自干扰消除的同时,相比于ANCLMS自干扰消除器有更低的复杂度。通过使用与实际电路工艺水平相符的参数对全双工收发机进行建模,验证了DC-NCLMS自干扰消除器的仿真性能与理论结果一致。