如今,随着人们对通信速率需求的不断增加,有限的频谱资源受到了很大的挑战,进一步提高频谱效率成了一个亟需解决的问题。对传统的正交传输技术(例如OFDM技术)而言,要想提高频谱效率,只有增加调制的阶数,而这样做会导致整个系统对噪声的细微变化十分敏感,从而造成系统整体性能下降。因此,高频谱效率的非正交传输技术成为了无线通信领域海内外学者的研究热点。高频谱效率频分复用(SEFDM)技术作为一种非正交传输技术,通过压缩OFDM信号子载波之间的间隔,使同样的频谱带宽内能传输更多的信息,从而获得了更高的频谱效率。然而,子载波之间的非正交性带来了很强烈的载波间干扰(ICI),传统的OFDM正交信号检测算法已经不再适用。因此,本文主要对SEFDM信号的检测算法展开了研究。首先,本文介绍了SEFDM非正交传输技术的基础理论和基本原理。在此基础上,研究了SEFDM传输系统的基本模型,并将其与OFDM传输系统进行对比,说明了SEFDM系统具有更高的频谱效率。此外,本文还介绍了SEFDM非正交传输信号的产生方法,一种基于分数级傅里叶逆变换(IFrFT)的产生结构和一种基于离散傅里叶逆变换(IDFT)的产生结构,为后续介绍SEFDM信号的检测算法打下了基础。之后,本文类比MIMO系统提出了一种基于QRM-MLD法的SEFDM系统检测方案。相比于ML算法,该算法以较少的检测性能为代价降低了计算复杂度。在此基础上,本文还研究了一种进一步降低算法计算复杂度的改进信号检测方案。最后针对现有的SEFDM信号的检测算法的检测性能不够理想的问题,本文介绍了一种与Turbo均衡结合的SEFDM非正交传输系统信号检测方案。并在该检测算法的基础上,研究了一种改进的信号检测方案,降低了原算法在计算载波间干扰时的计算复杂度。