第5代(5th generation,5G)移动通信系统中最具挑战性的要求之一是能应用于高达500km/h速度的高移动场景。由于正交时频空(Orthogonal Time Frequency Space,OTFS)系统具有在时延-多普勒域对时间变化相对不敏感的重要特征,因此OTFS系统可以很好地应用于高移动场景。并且,当与合适的均衡器结合时,OTFS系统能够很好地利用信道分集。本文主要研究OTFS系统的信号检测算法优化与调制方案改进问题,以期在算法复杂度和系统性能之间取得合理折中。首先,本文介绍了快时变信道以及OTFS的基本原理,分析了OTFS系统在时延-多普勒域的干扰及基于最大似然检测的理论误码率。通过Matlab对快时变信道条件下OTFS系统的误码率、正交预编码调制误码率性能进行仿真,验证了OTFS系统在高移动场景下比正交频分复用多载波系统具有更好的性能。接着,为了降低接收端信号检测复杂度,本文研究了基于图论消息传递的算法,并据此对OTFS系统信号检测性能进行了分析。在此基础上,本文提出在发送端进行多普勒补偿或者改变调制矩阵结构,以增强信道的稀疏性;在接收端检测中修改消息传递算法的停止准则,以降低复杂度。为了进一步降低复杂度,本文将近似消息传递算法(Approximation Message Passing,AMP)应用到OTFS系统检测中,同时引入主成分分析(Principal Component Analysis,PCA)中协方差处理思想,基于协方差的预处理,补偿非零均值引起的信息丢失。结果表明,与传统的消息传递算法相比,基于AMP的算法具有很低的复杂度,而改进后近似消息传递算法算法比传统的近似消息传递算法有更低的误比特率。最后,本文将适合于高移动通信的索引调制和OTFS系统结合,提出了一种基于索引调制技术的OTFS系统,并对基于的索引调制OTFS系统性能给出实现框架。在LTE标准信道下进行仿真,最后结果表明,基于索引调制的OTFS系统具有比索引调制OFDM系统更低的误比特率。