协作多点（Coordinated Multi-Point,CoMP）通信技术,利用分布在空间中的多个站点之间的协作,可以有效提高用户（特别是边缘用户）的服务质量（Quality of Service,QoS）。然而,传统的CoMP技术基于正交多址接入（Orthogonal Multiple Access,OMA）技术,这使得系统的频谱利用率不高。例如,当多个站点协同服务一个边缘用户时,每个站点须要同时为该用户分配一个信道资源块,由于OMA的限制,该信道资源块不能被其他用户占用,这使得当用户数较多时,系统的频谱资源将变得相当紧张。将非正交多址接入（Non-orthogonal Multiple Access,NOMA）技术应用到CoMP通信中,即CoMP-NOMA技术,可以有效地缓解这一困境。CoMP-NOMA的核心思想是在多个站点协同服务边缘用户的同时,每个站点采用NOMA的方式服务额外的中心用户,这样可以在保证边缘用户服务质量的同时,增加系统的接入量从而提高频谱利用率。此外,从另外一个角度,CoMP-NOMA也可以有效解决单小区NOMA技术对边缘用户服务质量提高有限的缺点。由于以上特性,CoMP-NOMA成为近年来备受关注的一个研究课题。本文研究CoMP-NOMA在不同应用场景下的一些关键问题,包括预编码设计、传输方案设计以及性能分析等。主要工作包括以下几点:1)基于用户最小数据速率和单站点最大发送功率约束,以最小化总发送功率为目标,研究两站点CoMP-NOMA系统中下行链路的预编码设计。首先,考虑两站点三用户场景,问题可分类为发送站点时钟完美同步和非完美两种情况。针对每一种情况,首先给出基于用户数据传输速率约束和单站点最大发送功率约束条件下的预编码问题建模,经过对原始问题的转化和相应理论分析,提出预编码器设计算法。然后,给出当CoMP-NOMA与脏纸编码（Dirty Paper Coding,DPC）方案的最小总发送功率相同时信道所须满足的条件（称为信道准退化条件）。最后,将研究场景推广到两站点多用户场景,利用三用户情况下的理论分析结果设计用户配对算法,将用户分为多个簇,簇间采用正交传输策略,簇内采用CoMP-NOMA或者迫零波束赋型（Zero-forcing Beamforming,ZFBF）传输方案,得到混合多址CoMP-NOMA传输方案。2)在密集网络站点协作场景中,研究可行的上下行CoMP-NOMA传输方案设计,以增加系统接入数量和提高频谱利用率。首先,根据密集网络中站点与用户的分布特点,给出基于随机几何中的泊松簇过程（Poisson Cluster Process,PCP）的网络拓扑结构建模。然后,分别设计上下行CoMP-NOMA传输方案,并根据上下行解调信号的信干噪比表达式,利用随机几何相关理论,对所提方案进行理论分析。最后,进行仿真实验验证分析结果并与OMA方案进行对比,以刻画CoMP-NOMA方案优越的性能。3)在车联网路边站点协作场景中,研究CoMP-NOMA传输方案的系统性能,重点针对路边站点以及车辆沿路分布的特点进行建模和分析。基于泊松点过程（Poisson Point Process,PPP）的建模适用于传统密集网络,但是不能刻画车联网中路边站点以及车辆沿路分布的特点。为弥补这一缺点,该项工作首先建立基于泊松线Cox（Poisson Line Cox Process,PLC）模型的网络拓扑结构建模。在该模型中,道路系统被建模为泊松线过程（Poisson Line Process,PLP）,站点和车辆用户则被建模为每条道路上的一维PPP。然后,给出基于Alamouti编码的下行CoMP-NOMA传输信号建模。其次,对边缘用户与中心用户的中断概率进行理论分析,根据分析结果,进一步研究功率分配系数对于中断概率的影响趋势,并在此基础上研究给定边缘用户中断概率上限条件下的最小化中心用户中断概率问题的最优功率分配算法。