信号接收是对通信系统中的传输信号进行解调和恢复。在传统的光纤通信系统中,光信号的接收是由光电二极管直接将光信号强度转换成电信号,此种接收方法称为直接检测方法。但是,由于直接检测方法无法知晓光信号的相位信息,它只能检测二进制开关调制(OOK)信号,这样的调制信号频谱效率较低,难以实现更高速率的通信需求,因此需要一种能够检测光信号相位信息的接收方法。于是相干接收方法应运而生,它是通过信号光和本地光进行混频检测出光信号的相位。这种方法能够检测出信号光完整的幅度和相位信息,使得信号处理方法能够应用于光纤传输系统中。光纤传输系统中的信号处理过程称为信号恢复过程,根据传输系统中的信号损伤,信号恢复过程如下：首先针对混频器的参数非理想状态进行正交化,然后依据信道的特征对信号进行静态均衡和动态均衡,最后是对信号进行时钟同步以及载频估计和相位恢复。再对恢复后的信号进行码元的判决,就得到了发送端的原始码元。基于相干光传输系统的调制手段主要是四进制相位调制(QPSK)以及高阶正交幅度调制(QAM),此类调制方法提出的思路主要是针对大容量通信的需求,但是大容量的通信系统会带来传输距离受限的缺点。从前面的信号恢复过程和调制方法可以看出,提升系统传输距离有两个关键点：(1)对信号损伤机理的分析,使信号能在长距离传输下还能进行恢复；(2)新型调制格式的选取,使得调制方法能更好地抑制信道损伤。本文正是从这两个关键点出发,提出了混频器的信号损伤的原理、信道均衡代价与信道特征的关系和连续相位调制方式与相干接收的通信系统的结合方法。混频器的信号损伤机理的原理主要建立在信号星座图的基础上,将有关偏振光的一些数学理论应用在信号星座图上,推导出星座图上的图形的几何参数与混频器参数之间的关系,得出混频器损伤信号的机理。信道均衡代价与信道特征的分析,主要针对不同长度下光纤信道的色散(CD)和偏振模(PMD)下的损伤进行有限冲击响应滤波器(FIR)阶数的经验分析,给出了信道损伤与FIR阶数之间的关系。连续相位调制(CPM)方式在光纤系统中的研究,分别有二进制连续相位调制和四进制连续相位调制的研究。其中,二进制连续相位调制分为最小频移键控调制(MSK)以及任意调制指数的连续相位调制方法；四进制连续相位调制方法为在深空调制手段中的经过整形的偏移四进制相位调伟(?)(SOQPSK)。由于信号的连续性特征,光信号的功率谱密度与QPSK相比,具有频谱效率高的特征,能潜在提高传输系统的抑制信道损伤的能力。本文针对目前在光纤相干接收系统中信号损伤与调制方式的理论进行了分析,解决了信号损伤与恢复的关系问题,同时设计了连续相位调制方式与相干接收系统的结合方法。仿真结果表明,连续相位调制信号的传输距离要比现有的QPSK信号在六波长的信道中长20公里。