随着人们对高质量多媒体业务需求的不断增长以及陆地移动通信速率的不断提升，卫星通信作为陆地移动通信网络的重要补充以及未来空天地一体化信息网络中必不可少的组成部分，亟需提高数据传输速率和系统吞吐量。多输入多输出(Multiple Input Multiple Output,MIMO)技术通过引入空间维度，能够在不增加带宽的条件下极大地提高系统容量。因此，如何利用MIMO技术提高卫星通信系统吞吐量已成为一个重要的研究课题。由于多波束卫星系统能够通过频率复用提高系统吞吐量，是实现未来高吞吐量卫星通信的一种重要方案。因此，本文重点研究多波束卫星通信中的MIMO相关技术。　　本文首先简要描述了多波束卫星系统和MIMO系统模型，并在此基础上建立了多波束卫星MIMO系统模型，分析了多波束卫星MIMO系统的特点。然后，主要针对多波束卫星系统前向链路、反向链路和多波束双极化卫星系统中的 MIMO技术展开深入研究，主要研究内容及成果如下：　　第一，研究多波束卫星系统前向链路预编码技术。建立多波束卫星MIMO系统前向链路模型，分析三种经典预编码算法在前向链路中的性能。针对格基约减辅助TH预编码(LatticeReduction aided Tomlinson-HarishimaPrecoding,LR-THP)算法运算复杂度高的问题，在一种高性能分组预编码算法的基础上，考虑多波束卫星MIMO系统特点，提出一种基于信漏噪比(Signal-to-Leakage-plus-Noise-Ratio,SLNR)的低复杂度分组预编码算法。该算法能够充分利用多波束卫星MIMO信道特点，降低预编码矩阵求解时的维度，从而减小算法运算量。但是，上述算法需要多次广义特征分解，运算复杂度仍然较高。为了进一步降低预编码算法复杂度，提出一种基于广义最小均方误差信道反转(Generalized Minimum Mean Squared Error Channel Inversion,GMI)的分组预编码算法。该算法利用GMI和QR分解求解预编码矩阵，从而避免了广义特征分解，使算法具有更低的运算量。复杂度分析及仿真结果表明提出的两种预编码算法相比LR-THP均能够有效地降低运算复杂度。另外，与原分组预编码算法相比，提出的两种预编码算法均具有更低的运算复杂度，其中基于GMI的分组预编码算法复杂度最低，同时能够获得与原分组预编码算法相近的性能。　　第二，研究多波束卫星系统反向链路多用户检测技术。建立多波束卫星MIMO系统反向链路模型，分析经典多用户检测算法在多波束卫星信道下的性能。针对串行干扰消除检测算法用于多波束卫星MIMO系统时运算量大且处理时延长的问题，提出一种适用于多波束卫星MIMO系统的低复杂度分组干扰消除检测算法。该算法按波束间距离对用户分组，在检测并消除某关键用户组干扰后，对其余用户组信号进行并行检测，从而减小处理时延并降低算法运算量。仿真实验验证了所提算法的优异性能。最大似然检测算法能够获得最优的检测性能，但运算复杂度很高。针对这一问题，提出一种混合最大似然/分组干扰消除检测算法。该算法同样将用户按波束间距离分组，组内采用最大似然检测，组间干扰消除则利用多波束卫星MIMO系统特点，通过混合串行/并行干扰消除完成。仿真结果证明所提算法能够以较低的运算复杂度获得接近最大似然检测的性能。　　第三，研究多波束双极化卫星系统MIMO技术。在多波束卫星系统中，将波束间全频率复用和波束内双极化方案结合，构建更大规模的多波束双极化卫星MIMO系统。研究多波束双极化卫星MIMO系统前向链路和反向链路能够达到的链路容量，以及块对角化(Block Diagonalization,BD)类型的预编码算法在多波束双极化卫星MIMO系统前向链路中的性能。随后，针对多波束双极化卫星MIMO系统前向链路，设计一种基于BCH-LDPC码的MIMO传输方案，并结合Turbo迭代检测译码算法获得优异的系统性能。针对Turbo迭代检测译码算法运算复杂度高的问题，提出一种适用于级联编码MIMO系统的外码译码反馈迭代检测译码算法。该算法在Turbo迭代检测译码结构的基础上引入外码译码反馈，利用外码硬判决译码信息降低迭代过程中MIMO检测的运算量，同时提高部分LDPC码译码初始信息的可靠性，从而使算法的复杂度和性能得到改善。通过仿真验证了所提算法在运算复杂度和误码性能方面的优势。