无线广播组播是一种通过网络资源共享的方式从一个数据源向多个目标设备传送相同数据的技术。随着移动通信网络的广泛应用、移动通信技术的迅速提高以及移动通信用户数量的迅猛增长,无线广播组播服务已成为移动通信系统发展的热点之一。本论文主要针对无线组播系统中的分层和协同传输技术进行研究,研究内容包括基于叠加码的无线组播系统的分层传输性能、资源分配和调度、中继转发机制,以及基于网络编码的无线协同组播系统的传输性能。本论文的主要工作和创新之处在于：1)研究了一种基于叠加码的无线组播和单播业务的分层传输方案,分析了该方案在Nakagami-m信道下的传输性能,并给出了在Nakagami-m信道下基于叠加码的无线组播和单播分层传输的一些概率分布函数,包括组播层传输所选中用户的信道分布函数、单播层传输所选中用户的接收信噪比分布函数等。仿真结果表明,当小区半径大于一定程度时,分层复用方式的系统容量明显大于传统的时分复用方式。2)基于不同的系统性能优化准则提出了两种基于叠加码的无线组播系统的分层传输方案,讨论了这两种传输方案的最优资源分配问题。对于无线组播的双层传输,即组播基本流和增强流的分层传输,其中一个系统性能优化准则是使得组播基本流和组播增强流的用户平均容量最大,我们讨论了在该准则下的最优功率分配和最优用户选择比例问题；另一个系统性能优化准则是使得组播基本流的系统时延较小,并同时使得组播增强流的用户平均容量较大,我们讨论了在该准则下的功率分配和速率分配的联合最优化问题。3)研究了存在中继情况下基于网络编码的无线协同组播系统的传输性能。我们从信息论角度分析了该系统的传输性能,包括系统的遍历容量、中断概率和分集度等。研究结果表明,网络编码技术在不牺牲无线协同组播系统的鲁棒性的同时,能够大幅提升系统的吞吐量性能。4)提出了一种基于叠加码的中继转发方案来减少中继的无用转发。中继根据是否所有组播用户都已经成功接收组播消息而决定是否转发数据。在该中继转发方案中,基站将数据信号(即组播消息)和标志信号叠加并发射,中继根据其是否已经成功接收标志信号来决定是否向用户转发数据信号,其实质是基站利用发射速率与信道容量之间的关系向中继传递信号。研究结果表明,在信道容量和中断概率这两个主要的系统性能指标上,基于叠加码的中继转发方案明显优于传统的解码转发方案。