近年来，随着以云计算、视频会议等高速率高质量数据业务的应用普及，人们对通信带宽需求迅速增长，光纤通信骨干网上单通道传输正朝着高速率、大容量和长距离的方向发展，传统的强度调制/直接探测已不能满足这些要求，而相干光通信以其通信容量大、传输速率高、灵敏度高、波长选择性好、中继距离长、具有多种调制方式、频谱效率高等诸多优点成为研究热点。首先概述了相干光通信系统的组成，介绍了相干光接收机的结构，并分析了基于自相干接收方式光接收机的重要器件—光前置放大器对系统性能的影响。详细研究了影响掺铒光纤放大器性能的因素，并针对掺铒光纤放大器中高增益和低噪声存在矛盾的问题，利用两级放大结构，并在两级之间加上噪声抑制单元，搭建了掺铒光纤放大器，并对其性能进行了实验研究。实验结果表明：该掺铒光纤放大器饱和增益40dB，噪声系数3.8dB，实现了高增益、低噪声放大。该放大器的研究对于提升光通信系统的性能有着重要的意义。其次概述了数字相干光接收机数字信号处理算法，研究了其中的频率偏移估计算法和载波相位恢复算法。针对频率偏移估计现有算法在数据点较少时，估计精度低的问题，提出了将多重信号分类和快速傅里叶变换相结合进行频率偏移估计的算法并仿真研究，结果表明：该算法的绝对估计误差最大值仅为0.8MHz，平均值仅为0.1MHz，估计范围为(-2.5GHz,2.5GHz)。数据长度较短且信噪比大于10dB时，该算法性能明显优于常用方法。针对现有载波相位恢复算法对激光器初始相位噪声容忍度低的问题，首次将小波变换与前向反馈技术结合来实现载波相位恢复。仿真验证结果表明：该算法对于激光器初始相位的容忍度明显高于现有算法，对其它相位噪声的容忍度等同或者优于其它算法。