随着科技的发展和生活质量的提高,人们对移动通信网络的质量和数据传输速率也会有急剧增长的需求。而在当前,移动通信的频谱资源十分有限,而且越高的数据速率就意味着我们需要更宽的频谱,这一直都是牵制通信发展的一个主要矛盾。为了在有限的频谱资源里传输更多的数据,即在相同的频谱带宽里提高传输数据速率,我们需要使用更为有效的信号,提高频谱效率。为提高单位时间内发送的比特,提高频谱效率,采用高阶调制以及MIMO技术,而高阶调制随着调制阶数的增加,星座符号之间的距离变小,符号与符号间的错误容限会降低,从而系统的性能会下降。MIMO技术由于需要多天线,而终端设备由于体积和功耗等因素限制应用较少。重叠时分复用通过压缩脉冲成型发送的时间间隔,从而提高发送的效率,进而提高频谱效率,这种非正交信号是本文研究的重点。本文先对重叠时分复用系统原理进行详细的介绍,重叠时分复用在发射端可以等效为一个卷积编码器,进而在接收端可以使用最大似然检测,比如维特比译码算法以及最大后验概率译码算法等恢复信源发送的信息。其次,在白噪声下对重叠时分复用进行仿真与M-QAM系统对比,在同等频谱效率的情况下,重叠时分复用系统的性能更优。为了提高系统抗干扰的能力,研究了级联卷积码作为信道编码的重叠时分复用系统,从结果可以看出级联信道编码后系统的性能有所改善,这使得当重叠时分复用系统在重叠复用系数较大时也可以改善系统的性能,对于方波和升余弦滚降波形两种脉冲成型下,对重叠时分复用进行性能仿真,随着系统重叠程度的加大,系统频谱效率提高,系统性能随着下降。再次,在之前的基础上研究了在白噪声的情况下,不同的采样位置对系统性能几乎无影响,在升余弦滚降作为脉冲成型时随着滚将因子的增大系统性能逐渐改善。从实际出发,弥补之前只在白噪声下的研究空白,研究了在带限噪声情况下重叠时分复用系统在相同的频谱效率下,系统性能优于传统的QAM系统。重叠时分复用的不扩展系统的带宽。最后为进一步提高系统的频谱效率,将重叠时分复用应用到MIMO系统中,并提出一种基于Trellis结构的信号检测方案,仿真分析表明该方案的性能比传统的ZF和MMSE性能要好,与在接收端对OVTDM信号进行ML检测后再译码的方式相比较计算复杂度相近但误码率更低,系统性能更优。