高频谱效率频分复用（Spectrally Efficient Frequency Division Multiplexing,SEFDM）技术,是一种在OFDM基础上发展起来的新型多载波非正交传输调制方案。虽然SEFDM系统提高了带宽利用率,但是子载波之间的非正交性产生了严重的子载波间干扰（Inter-Carrier Interference,ICI）,迫使接收端采用计算复杂的算法完成信号的检测。本论文主要对SEFDM系统检测器的算法进行了研究和实验验证。首先,详细介绍了SEFDM系统的相关技术以及基本原理。根据SEFDM系统的调制解调原理分析和理论公式,研究SEFDM系统中ICI形成原理。在此基础上分析了SEFDM信号的两种生成方案:分数傅里叶逆变换（IFr FT）生成SEFDM信号和离散傅里叶逆变换（IDFT）生成SEFDM信号。并对两种方案进行了分析比较。然后,本论文基于SEFDM技术的研究,提出了一种新的联合IQ分离迭代算法和基于傅里叶变换的检测（IQID-FFT）算法,并与现有的几种算法如:最大似然（ML）检测、迫零（ZF）检测、迭代（ID）检测、固定球面译码（FSD）检测和联合ID-FSD检测,在计算量和BER性能等方面进行了分析与比较。接下来,本论文对直接检测光检测原理和方案进行了研究,并搭建了DDO-SEFDM/QAM系统平台。在基于Matlab和VPI的联合仿真平台中,当BER=3.8×10~3时,在仿真光纤系统中,IQID-FFT算法比ID-FSD算法所需要的OSNR要减少0.44d B。在搭建的实验平台中,当BER=3.8×10~3时,所提出的IQID-FFT算法在光纤链路中所需的接收光功率比ID-FSD算法要减少0.59d B。基于实验数据显示,所提出的检测器方案在降低计算量的同时性能得到提高。