互联网的发展使得数据流量成指数倍增长,尤其一些新型技术如物联网、5G等都对系统的传输速率、传输容量提出了更高的要求,然而在光通信系统中,频带资源是有限的,如何提高频谱效率成为了研究重点。虽然已有正交频分复用（Orthogonal fre quency division multiplexing,OFDM）技术,以及在此基础上衍生出了各种提高频谱效率的技术,但是,这些技术为了保证子载波的正交性,频谱效率的提升能力有限,相应地通过改变调制阶数,固然可以提高频谱效率,但是会降低系统性能。本论文对高频谱效率频分复用（Spectrally efficient frequency division multiplexing,SEFDM）技术进行研究,SEFDM技术是非正交调制技术中的多载波技术,在OFDM技术的基础上打破载波正交性,进一步压缩载波间隔,在有限的频带内传输更多的数据,大大地提高了频谱效率。但是在SEFDM中,由于子载波正交性的破坏,引入了严重的子载波干扰（ICI）,需要重点研究对ICI检测补偿算法。本论文首先介绍了SEFDM系统的基本原理,并阐述了两种SEFDM信号的产生方法——基于离散傅里叶逆变换（IDFT）和基于分数阶傅里逆变换（IFr FT）的产生方式。分析了SEFDM系统ICI损伤机制,对几种ICI检测方法进行了比较分析。提出了一种改进固定球面算法（MFSD）,与已有的固定球面算法（FSD）相比,在达到较佳的系统性能的同时,可有效地降低计算复杂度。在Matlab和VPI仿真软件中搭建了DDOSEFDM系统进行仿真,对这两种算法进行了分析比较。并搭建了实际DDO-SEFDM实验系统,研究了在背靠背和光纤传输系统中,MFSD算法和FSD算法的系统性能。研究结果表明,MFSD算法与FSD算法相比,总PED复杂度能减少30%以上的计算量,乘法复杂度降低48%以上,验证了MFSD算法的优越性。