近年来,多输入多输出(MIMO,Multiple-Input-multiple-Output)技术由于能给通信系统带来传输速率和可靠性的巨大提升而得到了广泛的应用,进入了4G和WIFI等无线通信标准,并仍将是下一代通信技术的关键技术之一。目前采用的MIMO编码调制技术多为需要信道状态信息的相干空时码,然而在一类高速移动的环境中,信道变化迅速导致信道估计的难度增大,因此本文主要研究了不需要信道估计的非相干酉空时码,且为了提升系统性能,设计了酉空时码与LDPC(Low Density Parity Check Code)码级联的方案。本文主要有如下两个方面。第一,非相干酉空时码的设计。受相干空时分组码的结构启发,提出了一种酉空时星座图设计方法,利用最大码率正交设计作为酉空时矩阵结构,矩阵的元素可采用传统的高阶QAM调制信号。仿真表明该设计在码率较高时,如1.5 bit/s/Hz时,较经典的系统设计和正交设计的酉空时码能获得近2 dB的信噪比增益。另外还提出改进正交设计的方案,通过引入一维自由度,使得码字的设计更加灵活,选择的范围更广。第二,非相干酉空时码及相干空间复用码与LDPC码的编码调制级联系统设计。首先比较了多种酉空时码与LDPC码的级联方案,选择最优级联方案;然后设计了酉空时码作为携带信息的导频与空间复用码组合的传输方案,该方案可获得传输码率,性能和复杂度较好的综合性能;最后设计了一种检测发射信号矩阵的迭代检测解码接收器,探讨提升检测性能的方法。