随着数据业务需求的爆发式的增长，作为物理支撑的光纤通信系统需要不断追求更高的系统容量、更远的传输距离以及更高的接收灵敏度。其中，基于数字信号处理（Digital signal processing，DSP）的数字相干光通信系统是当前光通信领域的研究热点。数字信号处理技术可以实现偏振解复用以及载波相位估计等功能，并可以在电域补偿光纤色散和偏振模色散等传输物理损伤，大幅降低系统的成本，增强灵活性。此外，相干光通信系统还可以与高阶调制格式相结合，采用偏振复用和相干检测，可以有效提高频谱利用率。　　当然，相干光通信系统也有一定的局限性，由于其成本较高，器件不易集成，因此商业化难以在短时间内实现，因此在现有的强度调制直接检测通信系统（IM-DD）基础上进行优化，实现更高的系统容量和频谱效率也是光通信领域研究的热点之一。　　本文前半部分着重介绍了数字相干光通信系统的DSP算法，并提出了针对相位噪声抑制的改进算法，通过VPI仿真平台进行验证，与传统相位噪声抑制算法相比，在实现较好的补偿效果的同时，大大的降低了算法的复杂度。　　本文后半部分首先着重讨论了单边带强度调制直接检测通信系统的原理和框架，详细介绍了利用希尔伯特变换以及IQ调制器实现光的单边带调制的方法。并在此基础上实现了基于奈奎斯特滤波、单边带调制的32QAM单载波和WDM通信系统的仿真平台搭建和传输实验验证。