随着移动服务爆炸式的增长,下一代无线通信系统,预计将面临着大量的连接设备数的挑战。一方面移动用户的数量不断增加,用户需求的业务也越来越多样化;另一方面,空间、频率资源有限。在如此背景下,用户还需要以更低的时延获得更大的传输速率。未来的无线通信传输将更多时候以高密度节点场景下进行,因此,研究非正交多址接入和密集通信网络十分有必要。与现有系统相比,非正交多址接入不仅能提供更高的频谱效率,更低的时延,而且能支持更多的接入用户。首先,本文提出了一种基于星形正交幅度调制(Star-QAM)信号星座设计SCMA码本的方案,所设计的码本是一种结构性的码本,其母码本具有较大的最小欧式距离,同时,能够通过灵活地改变参数从而有效地满足大码本、高维、多用户或者不同过载的SCMA系统需求。同时本文也提出了一种基于成对差错概率的码本设计准则来指导设计码本。仿真结果表明,相比现有文献设计的码本,所获得的SCMA码本在不牺牲系统复杂度的前提下,能显著提高误码率性能,尤其是对于大码本或者在高信噪比区域。另外,本文也提出了一种基于度和EXIT图的非规则SCMA(IrSCMA)码本优化设计方法。通过利用旋转角度矩阵进行联合设计来生成IrSCMA码本。仿真结果表明,相比现有的码本,新获得的码本在不牺牲系统复杂度的前提下,能显著提高系统的误码率性能,尤其是信噪比比较高的时候。接着,本文分别分析和评价了在AWGN和瑞利衰落信道下SCMA系统下行链路的平均误码率性能。本文利用SCMA星座相位角的统计特性,分别推导出了相位角φ在AWGN和瑞利衰落信道下新的累积分布函数。基于新得到的CDF,在AWGN和瑞利衰落信道下,本文得到了SCMA系统误码率的精确表达式和闭式近似表达式。仿真结果表明,本文提出的理论分析结果与仿真结果吻合度很高,即使用户数量大或码本尺寸大,尤其是在信噪比高的区域。此外,通过仿真发现,当系统中N值相同的时候,SCMA系统具有相同的分集阶。然后,本论文研究分析了基于Star-QAM信号星座设计的码本的稀疏码多址接入系统频谱效率优化设计问题,提出了一种基于码本自适应的理论方法,以此最大化SCMA系统频谱效率。具体的是,我们在现有理论误码率表达式的基础上,提出了三种不同的功率分配方案,通过数值曲线拟合的方法,我们找到了三种不同的误码率近似模型。在不同码本大小的情况下,三种不同的误码率近似模型的数值计算结果和分析结果吻合度都很高。此外,我们还比较了相同功率分配方案下SCMA和OFDMA系统的频谱效率。数值和分析结果证实了所提出的功率分配方案。其次,本论文研究了基于和速率最大化的下行稀疏码多址接入系统优化设计问题,提出了一种基于超图模型进行SCMA码本分配以最大化减小以用户为中心的超密集网络(UUDN)干扰从而提升系统性能的设计方案。在UUDN中,大量接入点(AP)被密集地部署在网络中,为大量用户设备(UE)提供服务。UUDN网络架构从传统的以小区为中心向以用户为中心转变,许多接入点可以为一个UE服务,网络中接入点的密度远高于UE。UUDN设计面临的一个主要挑战是由于密集的AP/UE部署造成的较大干扰。本论文的目标是根据网络中每个用户单元的服务质量(QoS)约束,确定最优的SCMA码本分配,以最小化干扰,从而最大限度地提高系统吞吐量。该设计通过在同一用户端的接入点之间使用不同的码本,将其表述为一个被称为NP难问题的混合整数非线性规划(MINLP)问题。为了解决这一问题,我们使用加权超图模型将其转化为一个聚类问题,并提出了机器学习(ML)算法来有效地解决这个MINLP问题。仿真结果表明,基于超图的ML算法优于现有的算法。再次,我们知道,采用大规模分布式天线使无线电接入点(RAP)更接近用户,从而提高频谱利用率,可以弥合未来无线系统中稀缺的频谱资源和极高的连接密度之间的差距。以用户为中心的超密集网络(UUDN)通常以光纤无线通信(FWC)的形式设计,其中分布式天线或RAP通过光纤前端传输连接到中央单元(CU)。大量密集部署的天线或RAP需要广泛的光学前端传输基础设施。因此,光纤前端传输网络的成本、复杂性和功耗可能主导整个系统的性能。本论文对大型分布式天线的FWC系统的体系结构、建模、设计和性能进行了定性、定量的分析。光前端传输和无线接入链路之间的复杂交互需要在光域和无线域中通过共同利用它们的独特特性进行优化设计。结果表明,对于光纤长度较短、RAP较多的系统,采用光纤模拟射频(RFoF)传输链路优于光纤基带(BBoF)或中频(IFoF)传输链路,这都是未来无线通信系统所需要的特征。最后,我们研究了基于光纤无线通信(FWC)的以用户为中心的超密集网络(UUDN)下行链路的优化设计。光纤射频(RFoF)用于光纤前端传输,以降低RAP的复杂性、成本和能耗。利用射频前端传输,用户接收到的无线信号会受到光和无线链路累积的失真,包括光损耗、光纤色散、光和热噪声、无线路径损耗和小尺度衰落等。基于新提出的量化光和无线链路组合效应的模型,在光和无线域联合进行优化设计。本文的目标是在每个用户终端的服务质量(QoS)约束下,通过联合优化RAP功率分配和RAP-PD关联,最大限度地降低整个网络(包括光链路和无线链路)的总能耗。该问题被表述为一个混合整数规划(MIP)问题。本文提出了一种低复杂度的二元强制梯度搜索算法进行求解。仿真结果表明,光纤前端传输链路对超密集网络的设计有着重要的影响,特别是对于毫米波通信而言,由于光的色散,可能会造成较大的功率损失。