随着宽带业务的快速发展，特别是基于无线网的视频通话应用和P2P应用的迅猛发展，使运营商的骨干网络的业务流量持续增长。提高现有骨干网的数据传输能力，将现有的10G光纤通信网络升级为100G光纤通信网络尤为迫切。而10G光纤通信网络升级到100G光纤通信网络时，光发射机和接收机结构需要改变，光纤链路也不同，因此，直接的升级改造成本很大。如果复用现有的10G光纤通信网络，降低光纤通信网络的升级改造成本显得有很强的实际意义。针对该问题，文章提出复用现有10G光域色散补偿的光纤链路，使用电子色散补偿方式来补偿光纤链路中的残留色散的一种混合色散补偿模型，从而实现100G的速率的数据传输。本文首先介绍了相干光通信系统的基本理论，包括相干光通信系统的发展与特点，相干光通信发射机与接收机模型，光纤传输特性等。基于典型的相干光通信系统模型，分析了接收机数字信号处理模块。其次，本文使用虚拟光学仪器(VPI)构建了100G的混合色散补偿的相干光通信系统，并且从理论上分析了均衡增强相位噪声的产生机制。通过仿真分析了有限脉冲响应算法对均衡增强相位噪声的影响，仿真结果表明：均衡增强相位噪声与有限脉冲响应抽头长度、色散值、激光器相位噪声呈现正相关，并且，采用混合色散补偿方式时，大量的光纤色散被光域方式补偿，使得混合色散补偿方式相对于完全电域补偿方式抵抗均衡增强相位噪声的能力更好。最后，本文给出三种不同的电域色散补偿方式来实现混合色散补偿，通过仿真分析了采用不同的电子色散补偿方式补偿残留色散的混合色散补偿系统的性能。结果表明：相比频域色散补偿算法，有限脉冲响应在残留色散补偿能力和算法稳定性都要更优，使其更加适宜于混合补偿方式。