在无线通信中，分集技术是一种对抗多径衰落以及信道干扰的有效技术。协作通信技术融合了分集技术和中继通信技术，可以有效地提高网络传输的可靠性。重叠频分复用技术通过频谱的重叠获得较高的频谱效率，并且比相同频谱效率的高维调制技术有更好的性能。本文研究了重叠频分复用(OVFDM)技术以及与协作通信结合后的系统性能，主要工作如下：首先，阐述了分集与合并技术，协作通信基本原理以及固定中继方式下的放大转发(AF)模式与解码转发(DF)模式。其次，建立了OVFDM系统的通信模型，研究了该系统的频谱效率以及接收机结构。在加性高斯白噪声信道下，与相同频谱效率的高阶调制技术的误码率进行了仿真比较。结果表明当重叠复用系数为3时可以很好地降低系统误码率。再次，从信号处理的角度讨论了补零方式和循环前缀方式对消除符号间干扰的作用。最后，将OVFDM与协作通信结合，提出了放大转发和解码转发模式下OVFDM系统模型。并与相同频谱效率调制下的传统协作模式进行仿真对比，仿真分析表明，与高阶调制下的AF和DF协作模式相比，OVFDM与AF结合后在一定条件下性能有所提高。在DF模式下的重叠频分复用系统的性能有明显提高。