时至今日,随着第五代（5G,5th Generation）移动通信商用套餐的发布,移动通信已经历了将近一个世纪的发展与演进。新一代移动通信系统更加关注低延时、高可靠、广覆盖以及巨连接等技术指标。大规模分布式多输入多输出（MIMO,Multiple—Input and Multiple-Output）与无蜂窝大规模MIMO系统由于可以提供更好的覆盖、更强的抗干扰能力以及更灵活的组网等特性,已经成为新一代移动通信系统研究的两个重要网络架构。随着用户终端设备的迅速增加,大规模分布式MIMO与无蜂窝大规模MIMO系统的回程消耗急剧增加、每个用户终端的服务质量（Qo S,Quality of Service）以及提高系统频谱效率（SE,Spectral Efficiency）等问题面临更大的挑战。针对上述问题,本文开展相关技术研究。首先,针对传统蜂窝网络中小区边缘用户干扰较大的问题,提出了基于交错分簇的大规模分布式MIMO架构。在该网络中,通过不断划分不同频率正交的分簇模式（CP,Cluster Pattern）,使位于小区边缘的用户在很大概率上位于其中一个CP的中心位置,有助于小区内边缘用户在分簇过程中寻找相对有利的信道条件。以优化回程和功率约束下的加权和速率（WSR,Weighted Sum Rate）为目标,提出了一种稀疏波束成形优化方案,考虑到超密集部署RAU和大量用户终端巨连接所带来的高计算资源消耗问题,将原优化问题分解为两阶段子问题,第一个子问题以最大化选择用户数为目标,寻找满足最低Qo S的用户数;然后,第二个子问题利用第一个子问题的数据集进行原问题求解。其中,在第二个子问题提出五个性能不同的优化算法,分别为基于CP的加权和最小均方误差（CP-WMMSE,CP-Weighted Minimum Mean Square Error）算法、基于原始分解/对偶分解的稀疏波束成形功率分配算法、基于原始分解对偶分解的稀疏波束成形快速迭代算法。实验结果表明,所提的算法有效提升小区边缘用户性能。其次,为了提升大规模分布式MIMO的SE,提出了一种基于网络辅助全双工（NAFD,Network-Assisted Full Duplex）的大规模分布式MIMO联合稀疏波束成形与功率控制。以Qo S约束和回程约束下的最大化上下行链路总频谱效率为目标建立优化模型,利用整数规划线性化方法,将混合整数规划的原问题分解为两个子问题:原问题的线性化近似子问题和基于用户和RAU关联解的子问题。其中,第一阶段,优化线性化近似子问题,得出用户和远程天线单元（RAU,Remote Antenna Unit）关联解集,第二阶段,将该解集带入原问题,求解上行功率控制、下行发送稀疏波束成形向量和上行接收机。此外,针对每个子问题,提出了两种复杂度不同的优化算法,即基于迭代的半正定松弛块坐标下降法（SDR-BCD,Semi-Definite Relaxation Block Coordinate Descent）和基于迭代序贯参数凸逼近（SPCA,Sequential Parametric Convex Approximation）算法。仿真结果表明,所提的NAFD比传统的时分双工（TDD,Time Division Duplex）和云无线接入网（C-RAN,Cloud Radio Access Network）同时同频全双工（CCFD,Co-frequency Co-time Full Duplex）有更高的SE增益,同时,当交叉链路干扰（CLI,Cross Link Interference）被抑制到低水平时,与TDD方案相比,NAFD与C-RAN CCFD方案可以得到优越的性能表现。再次,为了提高无蜂窝大规模MIMO的SE,提出一种基于网络辅助全双工的无蜂窝大规模MIMO的双工模式选择与收发机设计。以最大化下行链路和上行链路的总SE为目标,联合优化了双工模式选择、下行波束成形向量、上行发射功率和上行接收机。由于优化问题中双工模式选择、上行链路与下行链路优化参数高度耦合,求解问题是一项具有挑战性任务。本文提出一种两阶段启发式交替优化算法。其中,第一阶段,固定模式选择参数,优化收发机参数;第二阶段,固定收发机参数,优化模式选择参数。另外,利用等价公式变换、迭代连续凸近似和二元变量松弛等优化方法分别将两阶段中的非凸函数转换为凸形式。通过仿真验证,所提的双工模式选择算法可以获得接近穷举搜索算法的性能,且优于传统固定模式以及简单分配模式的双工方案。最后,为了保证被网络接纳用户的Qo S以及确保优化问题可解,提出一种基于NAFD的无蜂窝大规模MIMO联合用户选择与连续无线信息与功率传输（SWIPT,Simultaneous Wireless Information and Power Transmission）收发机设计。以联合最大化上下行链路总SE和网络应接纳的用户数为目标,同时,考虑了上下行Qo S、采集的能量、SWIPT比、前向链路容量和上下行发射功率等约束条件。为了高效解决原优化问题,提出一个双层循环优化方法,即内循环解决联合用户选择与SWIPT收发机设计优化子问题,寻找最不可能被网络接纳的用户;外循环解决候选用户集更新子问题,根据内循环结果不断更新网络用户集。其中,内循环的优化采用一种可以达到稳定收敛且满足KKT（Karush-Kuhn-Tucker）条件的连续凸逼近（SCA,Successive Convex Approximation）算法。进一步地,研究结果表明,相比于C-RAN CCFD和TDD方案,所提的NAFD方案可在大部分条件下获得更高的性能增益与选择用户数。另外,相对于C-RAN CCFD方案,TDD方案在低速场景中有更好的选择用户数性能表现。