多输入多输出（Multiple Input Multiple Output，MIMO）技术能够充分挖掘空间资源来实现空间分集和空间复用，有效提高频谱利用率。波束成形是多用户 MIMO系统实现空分多址的主要技术，能有效地抑制小区间的干扰和用户间的干扰，是当前无线通信物理层技术的研究热点之一。本文以多用户MIMO系统中波束成形技术为主要研究点，重点对多小区多播系统、协作多播系统和干扰信道的波束成形技术展开了深入的研究。主要工作可概括为以下几个方面：　　1）针对发送端有理想信道状态信息（Channel State Information，CSI）和非理想CSI这两种情况下的多小区多播系统，研究了加权总速率最大化问题，分别提出了相应的波束成形算法。　　当发送端有理想的CSI情况时，每个基站功率约束下加权总速率最大化问题是非确定性多项式难题（Non-deterministic Polynomial-hard，NP-hard），难以直接求解。我们提出了一种低复杂度的迭代算法求解这一问题。在每次迭代中，原优化问题通过连续凸近似（Successive Convex Approximation，SCA）表示成二阶锥规划（Second Order Cone Programming，SOCP）问题。当发送端仅有非理想CSI情况时，中断概率约束下加权总速率最大化波束成形问题也是非凸的。此问题的困难就在如何处理中断约束。我们采用Bernstein类型不等式和半正定松弛（Semidefinite Relaxation，SDR）方法将原问题近似表示成一个交替优化问题，固定一组变量，关于另外一组变量是凸问题。数值结果验证了上述两种情况下的算法有效性。　　2）针对协作多播系统，研究了多播速率最大化问题，提出了一种波束成形和中继选择联合优化算法。　　在两阶段协作多播系统中，为了使得多播传输速率更高，研究波束成形、中继选择、时间分配因子和第一阶段成功解码用户集合联合优化问题。此问题相当复杂，即使第一阶段成功解码用户集合和中继已确定的情况下，此问题还是非凸的。我们采取的思路是，先确定第一阶段成功解码用户集合，再进行中继选择，然后优化剩余变量。数值结果显示，相比于传统的多播方案，本文提出的方案仅以较少的代价（中继功率消耗）获得较大的性能提升。　　3）针对发送端仅知道信道统计信息下干扰信道，研究了中断概率约束下加权总速率最大化问题，提出了一种性能和复杂度折中的波束成形算法。　　在K用户多输入单输出（Multiple Input Single Output,MISO）干扰信道中，中断概率约束下最大加权总速率问题是 NP-hard，很难获得最优解。我们提出了一种新的次优的迭代算法来求解它。在每次迭代中，通过引入松弛变量和使用 SCA方法，将原优化问题近似成一个SOCP问题。数值结果显示，提出的算法收敛很快，而且性能和复杂度都优于现有的算法在仿真中。