随着移动互联网和物联网的快速发展,第五代移动通信(5G)系统被赋予了更高的要求,如:更高的连接性、更强的可靠性、更快的数据速率等。而目前的移动通信技术难以满足以上需求,因此提出新的通信机制、研究新兴技术是大势所趋。在本论文中,通过将5G移动通信中的关键技术:毫米波通信、大规模天线阵列、非正交多址接入和空间调制进行了有效的结合,从而实现了提高系统的连接性和通信可靠性的目标。主要研究内容概括如下:第一,提出了一种在上行毫米波大规模MIMO系统中适用于低成本、小尺寸终端的空间调制方案。为了仅部署少量发射天线的终端在上行链路中也能利用空间索引传输部分用户信息,该方案采用了基于天线切换的空间调制技术。本文首先在点对点通信场景中,基于系统理论平均误码率上界的分析进行收发端的优化设计。其中接收端利用波束成形技术带来的阵列增益,弥补了毫米波通信中严重的路径损耗;发射端通过空间调制信号的优化设计,包括空间调制星座图以及空间调制映射规则的设计,克服了毫米波通信系统中由相邻发射天线间信道相关性导致的索引比特识别困难问题。接着,扩展到单基站服务多用户的通信场景。为了消除接收端强用户信号对弱用户信号带来的干扰,本文提出了基于SIC的信号检测算法。仿真结果表明,该空间调制方案显着提升了系统的通信可靠性。第二,设计了一种联合时域-波束域上行非正交多址接入方案以提高系统的容纳连接设备能力。本文以支持高用户过载率情况下实现用户信号全覆盖且可分离为通信目标,利用用户空间信道的相关性和差异性实现波束域非正交多址接入,利用稀疏扩频技术实现时域非正交多址接入。该方案以提高系统的通信可靠性为优化目标,构造并求解了联合域稀疏接入矩阵设计的优化问题。由于用户信息在联合域上具有稀疏性,可采用消息传递算法进行高效可靠的用户信号检测。为了在降低译码复杂度的同时,抑制波束域干扰对系统译码性能的影响,本文对所求得的联合域接入矩阵进行重构,并且在接收端消息传递算法的迭代过程中加入了干扰消除操作。仿真结果表明,所提出的多址接入方案在支持高过载率的同时确保了译码性能。最后,针对用户分布范围较广而无法利用空间相关性实现全覆盖的场景,提出了一种基于波束分割的联合域多址接入方案。所谓波束分割,即将一个射频链路连接的天线阵列分为多个子阵列,以形成多个子波束服务不同方向的多用户。该方案的设计包括两个方面:联合域资源分配和信号检测算法优化。其中波束域资源的分配因采用了基于波束分割的技术,需要根据多用户的最优波束方向、联合域资源中用户接入的情况以及阵列分割情况来确定。在接收端,由于新波束成形技术引入了子波束间干扰,因此对联合域接入矩阵采用基于信道质量的重构算法。该方案克服了上一个工作中的不足,使得空间分布不相关的用户也能共享一个波束接入,实现系统全覆盖的目标。