本文基于多输入多输出(MultipleInputMultipleOutput,MIMO)技术,以赋能下一代(后5G及6G)移动通信系统为目标,面向MIMO系统中的三个基本问题——可靠性(接收端误码率/空间分集增益),有效性(频谱效率/空间复用增益)以及移动通信的内生安全,分别从小规模MIMO中的非线性预编码、物理层安全技术中的实际安全传输方案以及新型网络架构——无蜂窝大规模MIMO三个方面展开研究。本文立足于实际传输场景中的非理想因素,研究新型MIMO关键技术在实际非理想传输场景中的新技术与新方案。本文的主要工作和创新点总结如下:第一、针对向量扰动预编码技术在量化误差下的新型预编码技术的研究。首先对非线性预编码传输中信道状态信息和功率归一化因子的非理想量化误差模型进行了分析。结合上述分析,本文提出了一种考虑功率归一化因子相对量化误差和发射端信道状态信息有限反馈的新型预编码方案,根据最小均方误差准则对存在量化误差下最优预编码矩阵以及扰动向量的联合优化问题进行了研究。仿真结果表明,相比经典的扰动预编码所提方案能够有效对抗传输中由量化误差带来的非理想传输的影响,在不同的场景下能够提供1-3dB增益,相比现有基于最小均方误差准则的预编码方案对非理想因素更不敏感。第二、针对向量扰动预编码在安全传输方案中应用的研究。本文以实际安全为目标,基于向量扰动预编码分别针对理想和非理想场景设计了相应的安全传输方案。针对人工噪声方案存在的空间自由度与发射功率损失的问题,本文基于向量扰动预编码设计了不同场景下的实际安全传输方案。首先,本文基于扰动向量的设计特性代替人工噪声作为干扰信号,提出了一种理想场景下的安全传输方案。然后本文考虑了现有基于正交幅度调制信号的实际安全方案由有限天线数和调制阶数带来的安全泄露现象,提出了一种基于调制符号极性的安全传输方案。最后,考虑窃听者可以消除扰动向量的场景,本文提出了两种分别基于固定偏移量和动态偏移量的实际安全传输方案,偏移量的选取可以根据调制阶数得到。仿真结果显示,所提方案相比现有基于人工噪声的传输方案在全负载场景下相比人工噪声方案可以获得3-6dB的增益,能有效避免安全泄露现象,显著提升了实际安全传输能够有效的提升合法用户接收性能。第三、针对无蜂窝大规模MIMO网络中的频谱效率和能量效率问题,本文首先提出了一种联合分布式及集中式信号处理的预编码方案:选取部分接入点使用集中式迫零预编码,提升系统频谱效率;余下的接入点则使用分布式最大比传输预编码方案,以降低前传(front-haul)链路开销。然后,基于信道的大尺度衰落参数得到接入点选择方案以及对应的频谱效率的闭式表达式。针对最大最小化(max-min)功率分配问题,本文给出了基于二阶锥优化的功率分配方案。针对大规模网络中二阶功率优化方案复杂度较高的问题,本文依据一阶优化算法,给出了一种低复杂度功率分配方案。在系统能效方面,对负载均衡下的接入点休眠及功率分配的联合优化问题进行了研究,提出了一种新的利用激活接入点集合的稀疏性及网络稳定性接入点休眠算法。研究表明,所提预编码方案可以有效避免分布式预编码性能受限于接入点间干扰的问题,在仅有少数接入点进行集中迫零时就能获得优于分布式预编码方案的性能;在接入点天线数量少于正交导频数的场景,所提算法相比分布式预编码方案在95分位处可以获得3-6倍频谱效率增益。在资源开销方面,所提预编码方案相比集中式迫零预编码方案具有更低的计算复杂度以及前向链路开销;所提功率分配方案在中等规模网络下能够达到接近二阶优化功率分配方案的性能,同时将计算时间降低了两个数量级;相比二分搜索算法,所提接入点休眠算法在复杂度相当或更低的情况下,具有更优的能量效率。