光纤技术以损耗低、重量轻、体积小、带宽大和抗电磁干扰等优势成为骨干网和接入网的重要传输方案。随着人们对信息传输速率和带宽需求的日益增加,400-Gbit/s乃至1-Tbit/s高速光通信技术也日显重要。另一方面随着传输速率和容量的提升,光信号更容易受到各种失真的影响,如色散和非线性等,因此,信号调控和高速传输技术成为下一代光通信网络的关键。其中信号调控技术包括信号产生、处理、滤波和失真补偿等,高速传输技术则包括波分复用、时分复用、偏振复用等。木论文围绕光信号的非线性调控和高速传输技术展开研究,重点探索基于非线性的超快全光信号处理方案、微波光子信号失真补偿方案和多偏振态复用高速传输方案,为增强下一代光传输网络的可重构性、提高系统容量和性能提供潜在的技术手段。本论文从理论分析与实验研究入手,主要内容包括以下几个方面：首先通过分析光纤中线性和非线性相关效应的机理,得到了一个较为完整的微波光子链路频率响应特性表达式；其次基于光纤非线性效应提出并实验验证了三种全光信号处理方案,包括相位敏感放大、波长组播和光信噪比监控技术；接着围绕微波光子信号调控重点研究了色散补偿和非线性失真补偿技术；最后探索了不同系统中的多偏振态复用高速传输方案。具体相关工作的详细描述如下：(1)基于耦合模方程和小信号分析,得到一个解释微波光子信号传输系统频率响应特性的简化表达式。该表达式涵盖了色度色散、偏振模色散和光纤非线性效应,减少了模拟信号传输仿真的计算量。同时,通过对噪声指数和无杂散动态范围的研究,探索了非线性色散链路中的信号传输理论极限,表明信号质量随着传输频率的变化呈现不一致性。(2)基于光纤非线性效应,构建了相位敏感放大、波长组播和光信噪比监控三种网络功能子单元,为解决当前通信网络节点的带宽限制和信号处理实时性问题提供新方法。内容包括：1)仿真研究了基于非简并四波混频的相位敏感放大器,实现了BPSK和QPSK信号的相位再生；2)实验研究了基于级联四波混频的波长组播,实现了1到9的DPSK信号无误码组播；3)实验研究了基于高阶四波混频的光信噪比监控,利用高阶四波混频分量的功率变化特点来表征光信噪比,在偏振复用系统中实现两路信号光信噪比的同时监控,监控范围大于10-dB。(3)针对微波光子信号调控,提出了多种色散和非线性失真补偿方案,提高了微波光子系统无杂散动态范围(Spuring Free Dynamic Range:SFDR)。具体内容包括：1)基于预失真技术的单频色散补偿方案,通过简单地调节输入马赫增德尔调制器的RF信号相位差和偏置电压既可实现色散补偿；2)基于偏振效应的单频色散补偿方案,通过调节输入相位调制器的信号偏振态,当达到某一特定值时色散效应得到补偿。该方案避免了调制器偏置电压漂移问题,链路动态范围提高了12-dB；3)基于偏振分集结构的宽带色散补偿方案,通过构造两个传输特性互补的链路,实现了宽频谱和多频率的色散同时补偿,链路动态范围可提高12-dB,信号误差向量幅度降至5%；4)基于DSP的非线性补偿技术,仅需要信号频率和带宽信息就可以通过模拟信号反向传输过程实现自适应的非线性失真补偿,链路动态范围可提高到126-dB·Hz4/5;5)基于偏振效应的非线性补偿方案,通过调节进入相位调制器的偏振态实现了非线性失真和色散的同时补偿,传输40-kmm后动态范围仍可达到110-dB·Hz4/5。(4)基于相干接收技术和数字信号处理技术,提出了三种新型多偏振态复用信号高速传输方案,为进一步提高通信系统的频谱效率提供新思路。具体内容包括：1)探索了传输四偏振态强度调制信号的可行性,讨论了偏振模色散对四偏振态系统的影响,仿真实现了40Gbit/s四偏振态OOK信号80-km传输,为短距离光接入网提供了新的组网方案；2)探讨了四偏振态光载无线信号(4PM-RoF)复用和解调方案,仿真实现了标准单模光纤中60-km传输,提高了微波光子信号传输系统的频谱效率；3)探索并实验验证了四偏振态差分二进制相位调制信号(4PM-DPSK)的传输可行性,实现了速率为100-Gbit/s的4PM-DPSK信号150-km传输,为提高长距离骨干网传输容量提供新方法。随着高速光纤通信系统以及5G移动通信等技术的快速发展,新的信号类型、传输方式以及业务要求将对信号调控技术提出更多挑战,也必将是研究人员持续努力的方向之一。