由于下一代卫星移动通信高吞吐量的数据速率需求,卫星移动通信采用多波束系统架构,在广阔的区域内由一组波束为终端提供服务。在采取全频率复用的多波束卫星移动通信系统中,波束间干扰(IBI,Inter-Beam-Interference)是系统吞吐量提升的主要技术瓶颈。多波束卫星通信中,可将卫星侧多波束与多个用户之间的信道视作一个多输入多输出(MIMO,Multiple-Input MultipleOutput)信道进行多波束协作传输,从而有效减小IBI,发挥多波束覆盖的优势。本论文针对卫星移动通信系统多波束协作传输技术展开研究。首先,针对多用户下行多波束联合预编码方法开展研究。在单星场景下,推导单星多用户正则化迫零(RZF,Regularized Zero Forcing)预编码方法,仿真结果表明,所给出的单星多用户RZF预编码相比于传统传输方法可以显著提升系统性能,且性能增益随着频率复用因子的降低而提升;针对多星场景,同时考虑星内波束间干扰以及多星之间的波束覆盖重叠导致的星间干扰,给出了多星协作及多星协调两种不同星间联合处理方式下的系统模型,通过星间联合处理抑制干扰,进而结合多星多用户RZF预编码,提出了基于最大和速率准则的用户调度方法。仿真结果表明,所提出的方法在不同复用模式下的和速率性能均优于传统传输方法。此外,针对采用多色复用的多星场景,提出了一种低复杂度的多星频率复用染色算法。然后,研究了多播下行多波束联合预编码方法。针对卫星移动通信系统中的长延时导致发送端难以获得理想信道状态信息(CSI,Channel State Information)这一问题,提出了平均信干噪比(SINR,Signal to Interfere Noise Ratio)最大化和中断概率约束的鲁棒预编码方法。首先研究在单波束功率约束下最大化最小平均SINR的多组多播优化问题,推导得到平均SINR最大化问题和鲁棒的功率最小化问题之间的关系。针对鲁棒的功率最小化问题,提出了一种利用半正定松弛和高斯随机化的预编码方法。其次研究了保证中断概率约束下最小化单波束发射功率的多组多播优化问题,提出了一种将难以求解的中断概率约束条件转换为可求解的、低复杂度形式的近似方法,并基于半正定松弛给出一种低复杂度的预编码方法。最后研究了发送端仅知部分CSI的用户分组算法,推导出最大化平均SINR准则下用户分组算法设计应当满足的条件,即信道估计矢量相关性较强的用户应当被分为一组。基于此条件,提出一种低复杂度的用户分组算法。仿真结果表明,结合用户分组算法,两种鲁棒预编码方法相比于传统方法均可以提供显著的性能增益。