近年来,随着无线通信用户业务需求不断增长,大规模多输入多输出（MultipleInput Multiple-Output,MIMO）技术成为第五代移动通信（5th Generation Mobile Communication Systems,5G）核心技术之一。大规模MIMO技术在不增加基站密度和额外带宽的前提下,通过挖掘空间维度资源,提高了系统的功率效率和频谱效率。然而,大规模MIMO所需数目庞大的天线给系统设计带来了严重挑战,包括过高的射频开销、不适用于非对称传输、信道估计困难和信号处理复杂等。探究有效解决上述大规模MIMO技术存在问题的传输方案,成为未来移动无线通信技术的重要发展方向。随着对MIMO技术的深入研究,一种利用空间维度作为新的调制方式的高效低成本新型MIMO传输技术-空间调制（Spatial Modulation,SM）技术应运而生。它不仅简化了MIMO结构并有效降低了MIMO实现成本,而且还更适合未来通信系统多样化的链路配置要求。本论文以空间调制及其拓展技术为主要研究对象,探索了优化空间分集、低截获传输设计、低复杂度信号检测及性能分析等重要问题。全文主要创新点包括:论文研究了一种新型空间分集技术-空时线码（Space-Time Line Code,STLC）,通过对其在典型衰落信道下误码率的分析、优化设计天线选择准则等的研究,验证了STLC适于在接收机能力受限的下行链路场景中取得更优的分集效果。论文在存在信道估计误差和信道相关性的非理想条件下理论推导出STLC的误码率公式,并通过数字仿真验证了理论分析的准确性,为后续优化设计提供理论支撑。论文面向下行传输场景研究了STLC-SM传输方案,论文研究了基于相位旋转的预编码方案,通过最大化最小欧氏距离准则给出不同参数配置的相位优化算法,通过对该系统误码率的理论分析,验证了所提方案能在低导频开销前提下,获取更高的分集增益。针对无线传输对信息安全越来越高的需求,论文研究了人工噪声辅助的GSM技术,其通过在激活天线上引入优化的人工噪声,可在降低截获概率的同时提升射频资源的效率,论文推导了系统的理论误码率,并通过数字仿真验证了其有效性。为了进一步降低射频端切换频率,论文提出了STLC辅助的射频偏置空间调制（Offset Spatial Modulation,OSM）技术,并基于等间距相位旋转设计了可行的预编码方案,拓展了OSM技术接收天线配置;论文通过理论分析提出STLC-OSM可以利用归一化因子的均值代替瞬时值,从而降低实现复杂度;通过对STLC-OSM系统理论误码率的推导和数字仿真,验证了所提优化STLC-OSM系统能获取更高的分集增益。论文分析了信道估计误差对STLC-OSM性能的影响,和预期一致,由于本系统降低了对信道状态信息的需求,其对信道估计误差有更好的鲁棒性。为了进一步降低接收端对信道信息的要求,论文研究了STLC-GRSM技术,根据接收机对信道状态信息不同的获取状态设计了低复杂度的检测算法。仿真结果表明,相同频谱效率下,STLC-GRSM相比传统的GRSM在提高分集度的同时可以有效降低接收机信道估计所需导频开销。论文研究了人工噪声辅助的GRSM技术,通过对理论误码率的推导获取优化的功率分配因子,数字仿真结果验证了理论分析的正确性,通过配置人工噪声和信号间的功率分配因子,可实现传输可靠性和低截获能力的折中。论文研究了可重构智能表面（Reconfigurable intelligent surface,RIS）辅助的SM增强技术。针对单用户场景,研究了利用STLC思想的优化分集设计,提出了无需信道信息的低复杂度检测算法,通过对该系统理论误码率的推导和数字仿真,验证了其能以更低的检测复杂度获取更高的分集增益。针对多用户场景,为降低RISSM通信系统中用户间干扰,论文研究了RIS辅助的环境反向散射（Ambient Backscatter Communication,Am BC）技术,利用RIS的扩频反射实现了主传输与后向反射传输互不干扰,并进一步设计优化了符号星座图,提高了后向散射传输的性能,通过对该系统误码率上限的推导和数字仿真,证明了理论分析的准确性及干扰消除的有效性。