近些年以来,随着5G技术不断发展,无线通信将有望进入通用技术的殿堂。通信技术已从人与人互联逐步演进到人与数据互联,这些数据是人们在个人和职业生活中所依赖的。为了满足应用的需求,无线通信的发展将研究重点转向使得数据传输速率变得更快和能源效率变得更高。近年来提出了一种新的多天线传输技术称为空间调制(Spatial Modulation,SM)技术,它克服了传统MIMO技术中遇到的难题和缺陷,受到广大研究者的关注和研究。SM技术的提出就是为了在频谱效率和能源效率中达到一个平衡,但是SM技术在接收机的检测复杂度等方面也存在明显的缺陷,所以在发射端研究新型的天线选择技术和在接收端研究低复杂度性能优的检测算法显得尤为重要。本课题首先对SM系统的原理、系统框图和数学模型进行了描述,在此基础上,对比分析了SM系统、STBC和V-BLAST系统的误比特率(Bit Error Rate,BER)性能,突出了SM系统的优势。对于SM系统的发射端,特别对M-QAM星座图和欧几里得距离最优化天线选择(Euclidean Distance optimized Antenna Selection,EDAS)算法进行了深入的研究分析。利用星座图本身存在的旋转对称性,提出了基于M-QAM星座图的低复杂度天线选择算法。此算法不但避免了EDAS算法计算复杂度高的缺点,而且能获得最优的BER性能。然后,针对SM系统接收端检测算法复杂度过高的问题,本文提出了基于M-QAM星座图的低复杂度检测算法。该算法不仅可以降低计算复杂度,并且同时可以获得最优的性能。利用编码技术带来的性能增益,最后将提出的算法推广到编码的SM系统,实现软输出译码检测,并与传统的基于ML的软输出译码算法进行了对比分析。新的软输出检测算法在有效降低计算复杂度的同时,获得最优的BER的性能,并通过计算机仿真验证了算法的有效性。