未来移动通信研究的一个关键挑战是寻找到一个有潜力的多天线传输技术,可以在现有的无线通信网络系统中达到频谱效率和能量效率的一个折衷。这一需求激发了一个新兴无线通信概念的出现,即空间调制(Spatial Modulation SM)。空间调制技术作为一种非常有潜力的多输入多输出(MIMO)技术,吸引了业界的广泛关注,人们的研究主要是集中在发射端和接收端。本文以此为背景,主要研究SM在发送端天线选择和接收端低复杂度解调的问题,主要工作如下：首先以Alamouti与V-BLAST为例,讨论了MIMO中的空间分集与空间复用技术。然后,重点讨论了SM以及广义空间调制(Generalized Spatial Modulation GSM)技术的原理、系统模型,并对SM系统与V-BLAST系统、Alamouti系统误码率性能进行仿真比较,表明了SM技术的优越性。同时,还分析研究了各种参数变化对SM系统性能的影响,得出了一些有益的结论,为SM技术的应用提供了较好的参考。最后,通过仿真对现有的SM系统几种常用检测算法进行分析,总结各种检测算法的优缺点。其次,深入地讨论了发端天线选择对空间调制系统性能的影响,给出了发送端天线选择优化的必要性,由此详细地分析了现有几种主要的天线选择算法,特别对EDAS (Euclidean Distance Antenna Selection)算法进行了深入的讨论,发现并证明了一些有趣的特性。通过定义旋转对称集合,给出了现有的天线选择算法EDAS的改进算法,不仅大大降低了算法的复杂度,而且保证了最佳性能,通过仿真验证了其有效性。最后,针对广义SM系统的最优检测算法的运算复杂度随着激活天线数的增加呈指数增加的NP-hard问题,本文发现并利用SM发送信号固有的稀疏特性,给出了一种新的次最优稀疏检测算法。该新算法可以在保证一定的检测性能的情况下,大大降低检测算法的复杂度。该算法不仅有上述优点,由于稀疏性的引入,还可以实现发送天线数目大于接收天线数目情况下系统的检测,计算机仿真验证了其有效性。