随着互联网规模的扩展,与实体经济的融合正在不断深化,由此带来数据流量高速增长,光纤网络所承载的基础通信设施面临着新的挑战。现有商用光纤通信系统中,单波段光放大器提供了约5 THz带宽的通信窗口。深入挖掘有限的光谱带宽资源以提供更高的传送能力是光传送技术的发展目标。当前,光正交频分复用(O-OFDM)技术与奈奎斯特波分复用(Nyquist-WDM)技术由于较高的频带利用率而受到业界重视。然而,除了依赖调制阶数的攀升,进一步提升系统频谱效率面临着无码间干扰奈奎斯特传输准则的限制。超奈奎斯特光传输技术通过允许码间干扰存在,突破了奈奎斯特传输准则的约束,以换取系统频谱效率的提升,码间干扰的影响由数字信号处理(DSP)技术提供的运算能力进行均衡与补偿。但是,随着码间干扰的引入,系统对各类损伤因素更为敏感,DSP探测方案面临着多种损伤补偿相互影响制约、高计算复杂度、码间干扰容限低等关键问题,限制了超奈奎斯特波分复用系统的进一步发展。综合多种场景评估系统的探测性能与计算复杂度亟待研究。本文针对以上需求与挑战,探索信道均衡、载波恢复与码间干扰补偿的联合优化,设计压缩码间干扰长度以降低计算复杂度的机制,形成适于4 bit/s/Hz频谱效率下PDM-QPSK系统的优选探测方案,并提出一种具有高码间干扰容忍度的自适应探测方法,取得创新性研究成果。论文的主要工作与贡献如下：1)针对码间干扰带来的非正交传输问题,研究了超奈奎斯特传输模型与接收理论,分析了超奈奎斯特光传输的优势。分析认为,超奈奎斯特系统所能提供的传输容量高于传统奈奎斯特系统,超奈奎斯特光传输能够利用物理可实现的脉冲波形达到或超越2 Baud/s/Hz的频带利用率,超奈奎斯特系统提供了一种利用低阶调制格式实现高频谱效率的方式。结合对最佳接收理论的分析,阐释了超奈奎斯特系统以DSP技术的运算能力换取频谱效率提升的本质。2)针对DSP探测方案存在多种损伤补偿相互制约与高计算复杂度的问题,探索了信道均衡、载波恢复与码间干扰补偿的联合优化方法,基于多场景评估了最大似然序列估计(MLSE)与最大后验概率(MAP)均衡的相对性能优劣,设计并验证了压缩码间干扰长度降低计算复杂度的机制,形成了适于4 bit/s/Hz频谱效率下PDM-QPSK系统的探测方案。仿真结果表明,增加DSP方案的计算复杂度并非提升探测性能的必要条件,联合优化后的探测机制采用2抽头MLSE均衡器能够获得比非优化条件下多抽头MLSE均衡器更优的探测性能。实验结果表明,在25 GHz信道间隔下探测112 Gbit/s PDM-QPSK波分信号,采用双二进制调制+2抽头MLSE方案同时具有探测性能与计算复杂度优势。3)针对现有DSP探测方案对码间干扰容限较低的问题,提出一种具有高码间干扰容限的自适应探测机制,为进一步提升超奈奎斯特波分复用系统的频谱效率提供了实现途径。该探测机制利用Polybinary调制结合MLSE均衡,接收端能够根据不同信道间隔状态以软定义的形式灵活选择Polybinary调制阶数以取得较佳探测性能。仿真研究表明,112Gbit/s PDM-QPSK波分信号能够在15-28 GHz的信道间隔上复用与探测。实验研究将112 Gbit/s PDM-QPSK波分信号复用在20 GHz信道间隔上,实现960 km传输后误码率在硬判决FEC容限以内(3.8×10-3),首次报道了在硬判决FEC容限下将PDM-QPSK系统的频谱效率提升至5bit/s/Hz的研究成果。4)针对光接入网场景下强度调制直接探测系统的码间干扰问题,提出一种基于时域截取的频域均衡方法,增强了系统的抗噪性能。该方法通过分析时域与频域码间干扰响应函数的关系,指出在时域中截取符号长度后进行自适应均衡器抽头系数的更新具有降低噪声影响的作用。仿真结果表明,时域截取方法经优化截取位置与符号数目能够取得优于传统时域与频域均衡方式的性能。在10 Gbit/s NRZ-OOK传输实验中,改进的单载波频域均衡技术相比传统时域均衡技术取得约1 dB的性能提升。