索引调制(IM)技术是一种新型的数字调制方案,它利用传输资源/载体的索引来传递额外的信息比特。由于其在频谱和能源效率以及硬件实现方面有较强的优势,而成为下一代无线通信有竞争力的候选方案。其主要分为空域的空间调制(SM)和频域的正交频分复用索引调制(OFDM-IM)。本文首先研究了OFDM-IM编码调制系统的软输出检测算法。软输入软输出检测器是实现编码系统潜力的重要保障。由于激活模式(AP)约束,并不是所有符号组合都是合法的,传统的基于符号的检测并不能有效地处理符号间的约束,因此并不适合OFDM-IM。另一方面,因为所有的比特组合都是合法的,基于比特的检测可以有效避免符号检测器处理AP约束的复杂过程。具体的,本文先是针对单层编码调制的SL-COFDM-IM系统提出了随机化的比特级MCMC(R-b-MCMC)检测算法。随机化的引入可以有效避免MCMC检测的“stalling”问题。进一步,针对对激活子载波索引和星座符号分别采用不同的LDPC码进行编码的两层编码系统(TL-COFDM-IM),提出了一种低复杂度的迭代多级译码算法(IMSD)。提出的低复杂度IMSD可以有效地处理分量检测器之间的乘性干扰,并且可以减少不同层之间的反馈开销。其次,学习了上行链路多用户GSM-MIMO系统的低复杂度检测算法。具体的,基于GSM信号的稀疏特性,提出了三种近似消息传递(AMP)算法:矢量形式的AMP、标量形式的AMP和结构化的标量形式的AMP。矢量形式的AMP基于每用户的矢量信号进行处理,复杂度最高,性能最好。标量形式的AMP基于每天线上的信号进行处理,复杂度最低,性能也最差。结构化的标量形式的AMP在标量形式AMP的基础上考虑了每用户不同天线上信号之间的约束,具有与标量形式AMP相同的复杂度,获得了逼近矢量形式AMP的误码性能。此外,为了保证AMP在相关信道下的收敛性,引入了一种简单而有效的damping策略。