光纤通信系统可实现高速率、长距离的信息传输。然而,光纤窃听技术的发展使得通信安全面临威胁。物理层保密技术旨在保证通信有效性和可靠性的前提下,提升安全性能。光混沌系统具有高动力学复杂度、高带宽等独特优势,能够作为特性优良的随机熵源,是满足高速信息信道保密需求的一种有效手段,近年来受到了广泛关注。然而,光混沌系统的参数安全性、同步鲁棒性和实现复杂性是制约混沌保密通信实用化进程的关键问题。同时,为了适应光通信网络的飞速发展,更高速率更长距离的保密通信需求对光混沌保密技术提出了新的挑战。论文面向高速率长距离保密光传输的应用需求,开展了理论与实验研究。研究并实现了强度调制直接探测光传输体制下的混沌保密通信扩容,提出并验证了基于模数混合光混沌系统的长距离同步机制,探索了高阶调制格式和相干探测光传输体制下的高速长距离混沌保密通信方法,具体内容如下:（1）针对强度调制直接探测体制下混沌保密通信容量提升问题,构建了相位噪声源与相位幅度转换机制协同的波分复用混沌保密通信理论模型,兼顾了熵源安全性、同步鲁棒性与系统实现复杂度,并降低了复用代价。仿真验证了基于光耦合相位混沌熵源的波分复用保密通信可行性。在此基础上,搭建了基于外部熵源的密集波分复用保密通信系统,并进行了实验验证。结果表明,系统支持单波10Gbps信号保密传输100公里,波分频率间隔50GHz,可抵御自相关函数对混沌系统延时密钥的攻击,为混沌保密通信扩容提供了有效手段。（2）面向长距离混沌同步需求,提出了一种模数混合电光反馈混沌源及其混沌同步结构,并在此基础上进行了保密通信方案验证。传统模拟光信号在光纤信道中的长距离传输损伤将造成的混沌同步质量下降,所提出的模数混合混沌系统以数字信号为传输媒介,提升了混沌同步距离,基于神经网络进行后端信号处理,提升了同步性能,实验结果表明,可在200公里单模光纤链路上实现高水平混沌同步。基于该同步方法,生成了数字密钥流,并提出了两种基于异或加密体制的类“一次一密”长距离保密光纤通信方案。（3）应对高速率长距离混沌保密通信需求,设计了基于模数混合激光混沌源的相干光保密通信方案。以延时动力系统的理论模型为基础,利用光注入作用下激光器的非线性效应,设计了一种双向耦合结构的激光混沌系统;基于数字光信号诱导的共注入同步机制,设计了长距离混沌同步方案。仿真结果表明,经过1000公里单模光纤传输,同步相关系数为0.98。在此基础上,采用高阶格式信号对激光混沌源产生的模拟光载波进行调制,采用同步后的混沌光进行相干探测,结合后端数字信号处理算法进行信息解密和解调。仿真结果表明,系统可支持5Gbaud 16QAM信号在超过1000公里的单模光纤链路上保密传输,并可抵抗自相关函数对混沌系统延时参数的攻击。