随着信息传输技术以及互联网技术的发展,人们对于移动通信的需求不断增长,全新的应用场景不断涌现,可以预见第五代移动通信（5th Generation,5G）将很快到达其性能的极限,难以满足未来通信需求。超五代（Beyond 5G,B5G）移动通信将在5G通信网络的基础上进一步提高通信速率,拓展通信范围,加强通信的安全性,增强系统的智能性。因此,B5G通信网络需要从多方面进行创新研究,探索新的通信频段、通信场景,研究更加高效的调制解调、编码译码、多址接入等通信技术。传统多输入多输出（Multiple Input Multiple Output,MIMO）下行传输技术面临射频开销昂贵、信号处理复杂等系统设计方面的重要挑战,因此,提供更加高速、可靠、高效的解决方案,是以B5G为代表的未来移动通信的重要发展方向。在MIMO技术的发展中,空间复用和空间分集等技术已广泛应用于现实通信网络。同时,空间调制（Spatial Modulation,SM）、差分调制等新型技术,由其较高的传输速率和较好的系统性能,而且能有效降低射频成本和接收端复杂度,成为未来MIMO系统的重要技术。本文针对B5G系统中的下行MIMO无线传输,基于空间调制的技术特点,结合空间分集、差分调制等技术,研究了频谱效率、差分设计、信息安全、空间分集等重要问题,具体贡献如下:第一,针对现有空时分组码空间调制系统在天线数增大时存在传输速率和分集增益低等问题,提出了准正交空时分组码空间调制系统,以提高系统的传输速率。同时针对所提方案设计了新的传输天线矩阵,以及低复杂度的接收端检测算法,同时通过理论推到得到了系统的误码率表达式。第二,针对下行信道中信道估计和导频污染问题,研究了一种新型差分空间调制系统以实现非相干检测并适用于大规模MIMO场景,同时为了进一步获得分集增益,设计了空时分组编码的差分空间调制传输方案,并推导了接收端的低复杂度信号检测算法,最后通过理论分析得到了精确的系统误码率表达式。第三,针对下行MIMO无线传输中的通信安全问题,提出了基于空移键控、相移键控和空间调制的三种新型隐蔽传输方案。所提方案通过设计空间和信号星座映射,把秘密信息隐藏于普通的空时信号中,使窃听方无法分辨和截获。同时理论推导了三种方案的理论误码率,并同过仿真验证了所提方案的性能和安全性。第四,针对非相干检测在信道变化快性能较差以及接收机复杂度高的问题,研究了空时线性码方案。同时为了进一步提高抗干扰能力,提出了空时/频线性码正交频分复用传输方案,并理论分析了新方案的性能,最后同时通过仿真和硬件实现验证了所提方案的有效性。本文研究了面向B5G的下行MIMO无线传输新技术,着重于对大规模MIMO的传输速率、导频开销、信息安全以及接收端简化进行了设计和优化,使其可满足未来移动通信的需求,更加适用于现实场景中的应用。