MIMO系统及空时处理技术能极大地提高无线通信系统的频谱效率或可靠性,在近几年受到广泛地关注。在MIMO技术研究中,通常假定信道经历独立同分布的Rayleigh平坦衰落,取得了广泛的研究成果。但是在实际的无线通信环境中,与不同天线对应的信道通常呈现一定的相关性,这种相关性势必造成系统性能的下降,削弱多天线结构带来的好处。本文在国家自然科学基金重大项目“基于MIMO-OFDM系统的空中接口自适应技术研究”(No. 60496315)和国家“十五”863计划重大专项课题“新一代蜂窝移动通信系统无线传输链路技术研究”(No. 2003AA12331005)的资助下,重点研究了基于相关衰落信道的空时优化发送及处理技术。首先讨论相关衰落信道的建模问题,为进一步研究提供基础。一种是基于射线跟踪的METRA模型(或称之为Kronecker模型);另一种是基于散射描述的相关衰落VCR模型。两者通过捕获相关衰落信道的二阶统计特征,将信道描述为相关统计和独立衰落的某种组合。比较了几种典型模型的特点,建模所需参数以及准确度。在此基础上,分别基于互信息和PEP,分析了衰落相关对MIMO信道容量和可靠性的影响,以及MIMO相关衰落信道所能提供的空分复用增益和空分分集增益能力。提出基于协方差反馈或带宽受限反馈的联合二维特征波束成型和正交STBC的自适应调制预编码方案,以提高系统可靠性,改善系统吞吐率。基于最小化PEP准则,得到了二维波束成形与波束间功率分配最优方案。功率分配服从注水法则,并且在严重相关情况下,应用切换机制来避免在无效波束上浪费功率。利用相关矩阵两个最强特征值衡量信道衰落相关程度,在自适应调制级别和相关程度间建立了直观联系。利用二维波束成型的变换作用,任意发送天线数下可以获得满空时发送速率。STC的正交结构和特征波束间的正交性,使得解码仅具有线性复杂度。基于频率选择性空间衰落相关信道下的MIMO-OFDM系统,提出一种基于时域波束成形的TCM和OSTBC预编码的级联机制,TCM作为外码,改善编码增益,OSTBC作为内码,能获得分集增益,且具有低的解码复杂度。最优波束成形方法为基于Kronecker模型的时域特征波束成形,仅需一个IFFT。考虑了使用和不使用交织器两种情况,基于最小化差错概率准则,分别得到了这两种情况下的功率分配算法和TCM设计准则。不采用交织器的情况下,获得了自由距带来的编码增益;采用交织器随机化信道带来了额外的乘性内置时间分集,获得了和积距带来的编码增益。在高信噪比下,两种情况下都可以获得二阶波束成形分集和满接收分集增益。此外,在功率分配计算过程中由于引入了码距,相对非级联机制而言,降低了获得二阶波束成型分集增益的门限。带交织机制比不带交织机制更能适用于快衰落信道,且性能更好。基于获取空分复用增益,提高频谱效率的目的,提出联合波束成型分组排序线性离散码(BO-JBLDC)及后排序迭代检测方法。将发送天线被分割成多个组,每组仅包含适量天线,不同的组进行独立的线性离散码编码。基于Kronecker模型,采用发送和接收特征波束成型解信道相关,将信道转换为独立非相关信道,并分析了离散基矩阵的约束条件和设计方法。提出了后排序迭代检测解码方法,根据各组信噪比确定解码顺序,采用分组干扰抑制和干扰抵消来消除组间干扰。消除组间干扰后,采用基于LDC实线性等式系统模型的球形解码来得到各组的判决,并进一步应用迭代解码来使得各组均获得满接收分集增益,改善接收性能。结果显示,天线分组可以降低解码复杂度,获得更大的编码增益,与JBSTBC,BO-JBSTBC,V-BLAST等机制相比,性能改善显著,显示了获得高容量的能力,能适用于任意天线配置。最后,提出了基于VCR信道模型的高频谱效率Cayley-DUSTM虚拟差分发送机制。接收端无需信道信息,适用于快衰落环境,降低了系统复杂度和成本。利用Cayley变换将酉星座图构成的非线性Stiefel流形映射到Hermitian线性矩阵空间,并用类似LDC的调制方法来获得高频谱效率,编码增益和基于线性等式系统的多项式次复杂度的球形解码。详细讨论了酉星座图及其对应的Hermitian矩阵需满足的约束条件,给出了基矩阵以及调制符号集合的设计准则及方法。结果表明,Cayley-DUSTM虚拟发送机制在接收端没有CSI的情况下,能取得好的频谱效率。