移动通信已经成为现代人类社会生活不可或缺的通信方式,人们对现代移动通信系统日趋增长的需求,对系统的性能提出了更高的要求。可靠性和有效性往往是评估无线通信系统性能的两大指标。李道本教授提出的基于重叠复用原理的传输方式,其核心思想是通过信号间的重叠提高系统的谱效率,不仅提高了传输的有效性,同时这种自然的编码约束关系又可以带来潜在的性能增益,兼顾了传输的可靠性,是一种面向未来移动通信的创新技术。本文正是基于重叠复用原理,对高谱效率的重叠码分复用、重点对高谱效率的重叠时分复用技术的串行级联系统做了进一步的研究：第一章首先介绍了本文的研究背景,简要概括了移动通信系统的发展情况并介绍了李道本教授提出的重叠复用思想的基本原理,然后是本文主要研究内容的安排；第二章主要是基于重叠码分复用技术的研究。首先介绍OvCDM的基本模型。然后仿真了配合正交重复编码的OvCDM系统的性能,验证了该方案通过正交重复编码支持多用户无干扰的并行传输且基本不会增加门限信扰比。其次,为了寻找适用于正交复用OvCDM系统方案的高谱效率编码矩阵,重点比较了实验室提出的一种新的通用OvCDM编码矩阵与同谱效率部分已搜索出的OvCDM矩阵的性能。第三章主要是基于重叠时分复用技术的研究。首先介绍了OvTDM的基本模型。对于李道本教授提出的高谱效率的Pure-OvTDM与Shift-OvTDM的串行级联OvTDM系统的性能进行了仿真验证,并在系统总谱效率不变时,对Pure-OvTDM和Shift-OvTDM两部分的重叠重数比例不同时的性能进行对比,搜索最优的组合方式,且与同谱效率的高阶QAM相比具有较大的性能增益。进一步,仿真了Turbo结构以及Turbo递归迭代结构的串行级联OvTDM系统,结果验证了它们的优良性能。随后将卷积码作为前向纠错码,以进一步提升串行级联OvTDM系统的性能。最后,研究了全升余弦复用波形的串行级联OvTDM系统,以及滤波对系统性能的影响。第四章主要是研究了重叠时分复用技术配合时频LA码在多载波系统中的性能。对李道本教授提出的时频LA码的非周期自相关和互相关特性进行了验证和分析。在此基础上结合整数码片OvTDM,使单小区多载波系统中的用户间完全不存在干扰。最后提出一种基于时频LA码的多小区组网方案并进行了分析。