MIMO(多输入多输出)系统是当今无线通信领域的一项重要技术，并以其在系统容量、频谱利用率和数据的传输速度上的优势获得越来越广泛的关注。但是它存在一个严重的缺陷:随着天线数量增多，系统的复杂度和成本将会大大增加。天线选择算法可以在保证系统容量基础上，显著降低系统复杂性和成本。　　 本文在讨论天线选择中MIMO的信道模型和容量公式基础上，重点研究了MIMO系统中的天线选择算法，提出了“递增”型的改进型快速天线选择算法，并且结合Matlab仿真实验和理论分析，证明该算法能够更快地选择出对信道容量贡献最大的接收或发送端天线，在不影响信道容量和系统误码率性能的情况下，显著降低了算法复杂度。通过分析联合天线选择中产生误码率的原因，围绕如何提高系统性能，本文设计了用于发射端天线选择的反馈方案。最后，将天线选择推广到V-BLAST编码环境下的MIMO-OFDM系统，证明在该系统中天线选择算法的可行性，提出了将排序串行干扰消除法与天线选择算法结合的方法。