5G商用脚步的加快,“大数据”、“云计算”等概念的提出和普及,4k/8k高清视频、虚拟现实和增强现实等新型业务的出现,持续刺激着数据流量的增长。为了应对这一压力,作为物理支撑的光纤通信网络采用幅度、相位等多维调制的矢量调制信号和多种复用技术相结合的方式以提高频谱效率、扩充系统容量。然而,矢量调制信号对信道噪声高度敏感,容易造成传输质量下降,缩短传输距离。在此背景下,对高效的信号再生方案进行探索具有重要意义。全光信号再生技术具有快速响应、高能效、无需“光-电-光”转换和高带宽提供能力等优点,在近几十年中引起广泛关注。其中,基于相位敏感放大（Phase Sensitive Amplification,PSA）等非线性效应的全光信号再生方案如多级相位再生、多级幅度再生、幅相二维再生等被先后提出和不断改进,具有良好的应用前景。本论文围绕矢量调制信号的全光再生技术展开研究,以不同传输场景下不同调制格式信号的传输质量提升为目标,进行了系统方案设计和仿真验证。具体来说,主要的研究内容及创新点包括以下三个方面:1.提出了一种基于矢量PSA的正交相移键控（Quadrature Phase Shift Keying,QPSK）信号全光再生方法。该方法利用矢量PSA将谐波的相干叠加过程与其余非线性过程分离,并通过控制矢量叠加的偏振角有效地实现了低泵浦功率下的最佳相位压缩。同时,通过引入后续的相位保持幅度再生装置,对相位再生过程的输出进行共轭和频率转换处理,最终完成了信号波长保持的幅相二维再生。其特点在于,与传统方案相比具有更高的系统能量效率和相同泵浦输入下更优的相位压缩能力。仿真结果表明:对于10 Gbaud QPSK信号,该方法下的谐波频谱宽度更窄,不需要的谐波分量减少了约40 dB。此外,通过误码率-光信噪比曲线反映出,在光信噪比（Optical Signal Noise Ratio,OSNR）为13 dB和18 dB的有噪信号输入下,分别获得了约2 dB和1.1 dB的接收所需OSNR的改善,这在延长信号可传输距离方面具有潜在的应用。2.提出了一种基于共轭双泵浦PSA的偏振复用QPSK/8PSK信号相位再生方法。该方法通过对输入泵浦和信号频率的特别设置以及对所需叠加谐波的阶数降低,实现了多级相位调制格式信号的正交偏振分量的同时再生。其特点在于,该方法避免了复杂的分集结构,克服了矢量四波混频引入的谐波干扰对双偏振信号再生的影响。仿真结果表明:分别以40 Gbit/s和60 Gbit/s的偏振复用QPSK和8PSK信号为例,在15度和7.5度的输入相位噪声下,实现了约为16%和5%的误差向量幅度（Error Vector Magnitude,EVM）值下降。此外,对于20度和10度的输入相位噪声,分别实现了约1.9 dB和2.1 dB的接收所需OSNR降低。该方法对误码率性能上的改善说明了其对信号质量的有效恢复和抗噪性的提高,在大容量长距离传输网络中具有应用价值。3.提出了一种基于多波干涉的矩形正交振幅调制（Quadrature Amplitude Modulation,QAM）信号全光再生方法。该方法利用泵浦辅助的自相位调制效应实现了信号幅度阶梯响应函数的傅里叶级数近似,通过对阶梯响应函数不同阶近似下的表现进行分析,提出了高阶系统与低阶系统级联的混合再生方法以实现信号再生。其特点在于,该方法中QAM信号再生时幅度和相位特性互不干扰,且通过利用正交的偏振态和相反的传播方向,完成了在同一段高非线性光纤中信号同相正交分量的再生处理,简化了系统结构并增强了可扩展性。仿真结果表明:混合再生方法可以有效地吸取一阶再生系统和高阶再生系统对不同等级噪声压缩的优势,保证再生效果不变的情况下减少级联次数,使QPSK、16QAM、64QAM信号的EVM均得到有效改善。以80 Gbit/s的16QAM信号为例,经过混合再生方法处理后,其在25 dB和20 dB OSNR输入的情况下,在误码率阈值处分别得到了约1.1 dB和2.7 dB的接收所需OSNR的降低。