多入多出(MIMO，Multiple-Input Multiple-Output)多天线技术能在不增加带宽和发射功率的情况下成倍提高通信系统的容量和频率利用率，因而成为新一代移动通信系统的关键技术及热门研究课题。在以往的MIMO系统研究中，一般假定MIMO信道是独立、同分布的，但在实际的无线传输环境中，由于发射／接收机尺寸的限制，或者信道中散射体不够丰富等原因，MIMO信道往往是空间相关的。因此，本论文针对空间相关信道，研究MIMO系统有关的理论和应用问题。天线选择技术是近几年被提出和被广泛重视的一项新技术，其在解决MIMO系统信道空间相关问题上表现出明显的技术优势，同时能降低MIMO系统实现的复杂性和实现成本。因此，本论文研究具有相关信道MIMO系统的天线选择技术问题，包括：该系统的信道容量和误码率的精确解；天线选择的准则和算法；信道估计误差对天线选择性能影响；发射端采用基于准正交STBC的差分调制方法，接收端采用基于接收信号的天线选择及差分解码方案。信道容量和误码率是衡量无线通信传输系统性能好坏的两个基本指标，因而给出系统信道容量和误码率闭合解析式是非常重要的研究工作。本文利用概率统计以及超越函数等知识，推导出了空间相关信道下天线选择系统的容量和误码率的闭合解析式，并使用MATLAB仿真实验验证了推导的理论结果。结果表明，仿真实验值与理论分析值完全吻合。对于天线选择系统，有效的天线选择算法是需要研究的关键问题之一。已有大部分的天线选择算法，都是基于最大化信道容量或者最小化误码率。这些算法均只能使两个性能指标中一项最优化，而不能同时保证两项的最优化。本文针对这个问题，提出了同时基于最大容量和最小误码率的天线选择算法。研究结果表明所提出的算法能同时满足系统的最大容量和最小误码率。已有的天线选择算法大多假设了在发射机或接收机处能准确地获得信道状态信息(CSI)。但在实际通信环境中，无论是接收机还是发射机不可能准确已知CSI，而是通过一定的信道估计方法获得信道部分状态信息。因而，在天线选择过程中，信道估计误差会影响天线选择的正确性，进而影响天线选择系统的性能。本文分析了因高斯误差和多普勒频移而引起的信道估计误差对天线选择系统性能的影响，并推导了在该环境下误码率闭合解析式以及在该环境下的最佳导频序列的长度。该理论分析结果，对导频的设计具有一定的指导意义。另外，为了避免因信道估计误差而给天线选择系统带来的影响，且不降低系统传输速率，本文提出发射端采用基于准正交STBC的差分调制方法，接收端采用基于接收信号的天线选择及差分解码方案。