伴随着时代的发展,通信技术突飞猛进,多址接入技术日新月异。面向未来,通信行业需要一种可以实现低延迟、高可靠性、大规模连接性、更好的公平性和高吞吐量等需求的多址接入技术,因此非正交多址接入(non-orthogonal multiple access,NOMA)应运而生。由于NOMA通过连续干扰消除(Successive Interference Cancellation,SIC)来进行解码,信道质量良好用户可以获得信道质量较差用户的信息,因此可以利用协作通信进一步提高NOMA系统的性能。当某些用户需要使用相同的数据时,可以将无线组播技术集成到NOMA系统中,即NOMA组播,有望结合他们的优势。由于采用固定数据速率和编码方案的非分层组播无法同时为所有组播用户提供最佳服务,可以通过分层组播将相同的内容交付给目标速率不同的组播用户,达到给所有用户提供最佳服务的目的。但是,当前的分层组播机制主要是在应用层上执行的,而没有物理层的协同支持,从而限制了无线组播系统中分层组播的性能,为了解决这一问题,本文提出了两种物理层协作NOMA分层组播方案。本文将分层组播机制引入到物理层,研究了组播通信中用户需要相同内容但用户间目标速率存在差异的场景,其中信息被编码为高优先级消息及低优先级消息,网络中随机分布两种类型的组播用户:常规用户,其仅希望解码高优先级消息;高级用户,其希望即解码高优先级消息又解码低优先级消息。为了提高系统的可靠性,本文首先提出了自适应分层组播(adaptive layered multicast,ALM)方案。在ALM中,将传输过程分为两个时隙,第一时隙基站发送叠加信号,各用户通过SIC解码自己需要的信息,在第二时隙中根据第一时隙的解码情况来选择不同的中继用户转发不同的信号,在保证高级用户中断性能的前提下,尽可能地提高常规用户的中断性能,并设计了具体的中继选择实现方法。由于以往NOMA中都是通过SIC技术进行解码,对功率分配系数提出了限制,对此本文提出了非连续干扰消除分层组播(non-SIC layered multicast,NSIC-LM)方案。在NSIC-LM中,每个传输块也将被分为两个时隙,在第二时隙中,从成功解码的高级用户中选择一个最佳用户做为中继,来协助第一时隙解码不成功的用户。与以往NOMA不同的是,NSIC-LM在第二时隙采用不同的信号叠加方式,经过线性组合后,即可还原出信号,避免了使用SIC技术进行解码。对于提出的每种方案,得到了封闭形式的中断概率表达式,并通过数值实验得以验证。将本文提出的两种方案与其他方案进行对比,仿真结果表明,相较于以往方案,本文所提的两种方案在中断性能方面更具优势。