随着社会信息化程度不断加深,人类社会产生的海量数据正不断飞速增长,人们对于光通信系统传输速率的需求也在不断增长。相干光通信可以采用高阶调制格式实现高频谱效率的传输,成为高速光通信主要的通信方式。相干光通信中利用相干探测,实现了信号从光域到电域的映射,在接收端可以采取数字信号技术对信号的幅度以及相位进行有效恢复。当前数字信号处理可以相对彻底地补偿光信号在光纤链路传输过程中受到的线性损伤,但是针对非线性效应的补偿依旧处于需要完善阶段。本文基于单载波相干光传输系统,在普通数字反向传播算法的基础上,进一步开展了自适应数字反向传播补偿算法的研究。本文主要的研究工作如下:1.本文研究了数字反向传播非线性补偿算法(DBP),并在此基础上设计了一种适用于16QAM的自适应数字反向传输算法(A-DBP),该算法基于一种使用幅度信息的代价函数,利用黄金分割搜索算法对非线性系数进行优化估测。相对于常规DBP算法,本文提出的A-DBP算法可以在未获知非线性系数前提下对信号受到的非线性损伤进行补偿。2.为了验证本文提出的A-DBP非线性补偿效果,分别搭建了单偏振以及双偏振相干光传输仿真平台,利用该平台进行12.5GBaud 16QAM的长距光传输仿真。分别使用单偏振及双偏振数据对本文提出A-DBP进行了性能验证,仿真的结果表明本文提出的算法可以在常规DBP算法的基础上获得进一步性能提升,获得更大的信噪比以及误码率增益,同时可以进一步提高最优发射光功率。3.本文在完成仿真验证的基础上,进一步进行了16QAM 12.5G单载波单偏振以及12.5G单载波双偏振相干光传输实验,并使用实验数据对A-DBP的实验性能进行了验证。实验表明,本文提出的A-DBP相较于进行线性均衡的处理方式,可以在高发射光功率条件下获得显著的信噪比以及误码率增益,同时可以使最优发射光功率得到一定的提升。