作为通信业务的物质基础,无线电频谱构建了当今的整个移动通信框架。但其不是取之不尽、用之不竭的公共资源,人类对无线电频谱资源的需求急剧膨胀,各种无线电技术与应用的竞争愈加激烈,使得无线电频谱资源的稀缺程度不断加大。然而,无码间干扰基带传输必须满足奈奎斯特准则,其成为制约频谱效率增长的一种限制条件。因此,本文主要研究超出奈奎斯特速率的信号设计方式,利用有限的频谱资源实现数据的高速传输。FTN技术与时域重叠复用技术均打破了奈奎斯特准则的束缚,FTN是一种基于干扰消除思想的技术,而OVTDM是一种基于序列检测的技术。从本质上说,两者都放宽了对于无符号间干扰的要求,从而获得更高的频谱效率。本文对这两种高于奈奎斯特传输速率的信号设计方案分别进行了研究。针对FTN技术,主要研究了多载波FTN系统与Turbo编码相结合的方案。由于在发送端引入了无限长不可控的码间干扰,本文在接收端设计了一种串行干扰抵消算法与Turbo译码相结合的并行译码结构,该结构具有较低的复杂度及时延。仿真结果表明,与卷积码相比,采用Turbo编码的FTN系统在频谱效率较低时有大约3～6dB的性能增益,频谱效率较高时增益下降。针对OVTDM技术,主要研究了不同频谱效率下采用不同复用波形的OVTDM系统性能。由于IOTA函数具有较好的时频域特性,更低的带外信号能量。本文设计了一种采用IOTA复用波形的串行级联OVTDM系统,与采用矩形复用波形的系统相比,该系统也有较大的性能增益。