随着交通的快速发展,对车辆、高速列车、飞机等移动通信服务需求将会增长,未来的通信系统具有技术挑战性的要求之一是适用于500km/h的高移动场景,而使用的毫米波在高速移动下多普勒效应将显著扩大。正交时频空（Orthogonal Time Frequency Space,OTFS）系统在接收端与发射端经历近似恒定的信道,所以具有对多普勒频偏不敏感的重要特征,其波形非常适用于地面高移动场景。本文主要研究OTFS系统的信号检测算法以及基于线性预编码的传输方案。首先,本文介绍了快时变信道特性与OTFS调制解调基本原理,并分析了时延-多普勒域信道的稀疏特性。通过Matlab搭建链路级仿真平台,仿真了OTFS系统在快时变信道下的误码率性能,验证了OTFS系统在高移动条件下比正交频分复用多载波系统具有更强的抗多普勒性能。然后,本文研究了一种基于嵌入式导频的低复杂度信道估计方案,并分析了其导频开销。仿真结果表明,在不同收发天线数量与信噪比条件下,该信道估计方案具有较高的准确性。接着,为降低接收端均衡器复杂度,本文利用信道的稀疏性,在基于概率模型因子图的基础上研究了消息传递检测算法。通过对时延-多普勒域信号的输入输出关系重构,将发送资源块沿时延域线性分组,在SISO-OTFS系统下的最大比合并检测算法基础上,提出了适用于MIMO-OTFS系统的最大比合并迭代检测算法。仿真结果表明,所提出的MIMO-OTFS系统下的最大比合并迭代检测算法相较于消息传递检测具有更低的计算复杂度,并且在低信噪比条件下具有更优的误码率性能。最后,根据重构后的信号输入输出关系,将发送资源块沿时延域线性分组,等效出线性分组向量的输入输出模型。基于此,本文研究了基于码本和基于奇异值分解的线性预编码方案下的MIMO-OTFS系统传输,根据不同预编码方案修改了最大比合并迭代检测算法。仿真结果表明,两种预编码方案下系统传输都表现出误码率性能增益,采用奇异值分解的预编码方案误码率性能提升明显。