由于对无线移动通信的要求提高，使得通信系统中的信号处理技术得到了长足的进步。信号处理的区域包括频域、时域和空域。对于不同的无线通信环境，对接收信号的影响是不一样的。本论文根据实际的通信信道环境的差异，研究了不同的信号优化接收处理技术，对于无线通信系统中的空时域信号处理进行了深入广泛的研究，从理论研究、复杂性简化、硬件实现优化等领域都有所涉及。首先研究了无线信道及其电波传播特性，接着分成四类课题进行了深入的研究，包括空时域自适应滤波技术、非线性信号处理技术在天线阵列中的应用、宽带自适应天线阵列和超宽带无线通信系统。具体的创新工作包括： 1．在空时域自适应滤波技术方面：(1)提出了适用于无线通信CDMA系统的低复杂性多级优化智能天线接收机，采用了新颖的正交分级优化方式，每一级的系统参数由前一级的系统参数及输入信号来决定，估算系统每一级滤波权值向量的计算量不会随级数的增加而增加。每一正交级设置一个复加权系数，通过MMSE准则来估算，在各级中独立进行优化。系统级数多少可由信号环境来决定，使系统的运行更为灵活。与传统方法相比，该系统不仅在无线通信环境下具有良好的性能，而且在有相关性信号存在的情况下，优势更加明显，同时还在计算复杂性方面有较大的改进，这对于实际应用具有重要的意义。(2)通过在迭代过程中增加了干扰抑制算法，提出了两种快速自适应盲天线阵列算法，在综合考虑性能和复杂性的情况下，新的方法相对于传统的盲天线阵列算法提供了更优越的性能。(3)和上个方法思路相似，在基于波束合成算法的改进版本基础上，提出了一种快速自适应均衡算法。相对于传统的RLS算法，新的均衡算法能达到相似的性能，但复杂性却大大降低。 2．在非线性信号处理方面：(1)基于改进型的SVM算法，我们提出了一种新的非线性自适应天线阵列算法。新的算法不仅在天线阵列过载和有相关性信号存在情况下保持优越性能，而且只要求很小的训练样本个数。新算法的这些特点使其特别适用于快速衰落信道环境。新算法的代价函数是一个带有全局最小值的凸函数，可以通过二次规划方法解出。相对于传统的非线性方法，新的方法有效的降低了复杂性。(2)在一个改进的波束合成算法和LBER算法基础上，提出了基于最小误码率准则的快速自适应波束成型算法(FBER)，相对于传统的MBER算法具有较低的计算复杂度和快速的收敛速度，其迭代过程更加稳定，而且其最终收敛的权值更加接近最优MBER的解。同时FBER算法能产生一个很好的波束图，可以直接用于发射波束，适用于TDD无线通信系统。提出的方法也使得MBER准则更加适用于实际通信系统。 3．在宽带自适应天线阵列方面：基于频率不变思想，提出一种适用于宽带无线通信系统下的，新的宽带自适应天线阵列。能在信号频带范围内，保持天线阵列响应基本不变。同时通过窗函数来控制旁瓣的幅度。相对于传统的宽带自适应天线阵列，具有收敛速度快，复杂性低的特点。 4．在超宽带UWB系统处理方面：(1)提出了一种在室内通信环境下，存在窄带干扰的UWB信号设计方法，并进行了性能分析。在满足FCC发射要求的同时，充分考虑各种通信环境，如信道响应、天线特性、窄带干扰等等。新的信号设计方法最优化了UWB PPM参数，通过数值分析结果证明了方法的有效性。(2)提出了一种抵抗窄带干扰的自适应非线性Rake接收机，不仅可以有效的抑制窄带干扰，同时可以消除多址干扰。新提出来的方法在性能上优越于传统Rake接收机，线性预测器和非线性预测器，但是复杂性明显小于MMSE Rake接收机。新方法和传统非线性方法不同的是，对于噪声功率变化具有很好的稳健性。