正交时频空（Orthogonal Time Frequency Space,OTFS）调制技术被认为是适合高移动性场景的热门技术之一,索引调制（Index Modulation,IM）也因其性能优势得到广泛关注。为了解决索引调制 OTFS（Orthogonal Time Frequency Space with index modulation,OTFS-IM）系统中的信号检测问题,本文基于消息传递（Message Passing,MP）算法提出了两种不同的改进思路,一种是基于概率排序的消息传递算法,一种是基于联合检测的消息传递算法,在不提高算法实现复杂度的情况下,这两种算法可以检测激活索引组合和星座符号。为了获得空间分集,本文将索引调制技术引入多输入多输出（Multiple Input Multiple Output,MIMO）正交时频空系统中,给出基于索引调制 MIMO-OTFS（MIMO-OTFS with Index Modulation,MIMO-OTFS-IM）的系统模型和低复杂度信号检测方法。本文的主要内容如下:首先,本文简要介绍无线信道的延迟-多普勒域表示,OTFS调制和索引调制的基本实现,然后重点分析OTFS系统1个循环前缀（Cyclic Prefix,CP）和N个CP系统模型以及低复杂度信号检测算法消息传递算法。其次,本文提出两种消息传递算法的改进思路以用于索引调制OTFS系统的信号检测,一种是基于概率排序的消息传递算法,实现思路是先利用传统消息传递算法得到各数据符号在判决时的概率分布,再通过子块内数据符号的概率排序得到激活索引组合和星座符号;另一种是基于联合检测的消息传递算法,实现思路是将变量节点和观察节点建模为索引调制中的一个子块,以子块为单位进行消息传递,实现激活索引和星座符号的联合检测,有效地避免了检测时无效激活索引组合的干扰。两种方法在较大参数且信噪比为20dB时,误码率均可到达10-3,与MMSE均衡方案比较,基于联合检测的消息传递算法性能略优且复杂度更低,基于概率排序的消息传递算法性能略有损失但复杂度为线性的。最后,本文将OTFS-IM与MIMO传输技术结合以发挥两者的优势,提出MIMO-OTFS-IM的系统模型并推导了系统的输入输出关系,利用基于联合检测的消息传递算法进行信号检测,仿真表明在信噪比15dB时其误码率接近10-3,而MIMO-OTFS的误码率只能到10-2。