伴随着通信网络的高速发展,人们对通信带宽的需求只增不减,除传输速率外,通信网络的容量、传输数据的安全性得到了越来越多的关注。在使用高阶调制技术对提高系统频谱效率的同时,模分复用技术作为提高光纤通信容量的有效方案被广泛研究。同时,利用混沌加密技术对数据进行加密处理,提高数据的安全性,成为时下热门的数据加密策略之一。本文中针对光通信系统的传输容量和数据安全问题展开了讨论,结合上述技术,以提升系统的传输性能和信号安全为目标,研究了基于混沌扰动的大容量高安全光通信系统,突破了传统混沌矢量空间限制,解决了利用数据信息本身实现物理层安全问题,同时降低系统的复杂度,具体的研究内容如下:（1）针对正交频分复用无源光网络,本文中提出了一种基于迭代级联混沌模型四维联合加密的物理层安全策略,结合概率整形技术,采用改进Logistic和延迟-Tent-Sine双混沌映射,对其生成的混沌序列进行迭代级联生成置乱矢量,并根据需要对传输的信号进行加密,以此来增强系统的物理层安全。该方案拥有的大密钥空间足以抵御穷举攻击,改善传统低维混沌带来的的随机性低、可扩展性弱等问题,同时,可以通过改变迭代方程维数来提高混沌系统的可复用性。使用所提出的模型对信号进行加密后,可在25 km的光纤跨度内使用标准单模光纤实现16.48 Gb/s的传输,并且使用概率整形技术还可得到1 d B的功率增益。（2）为了提高滤波器组多载波/偏移正交振幅系统的物理层安全性,本文中提出了一种基于分集DNA加密的混沌加密策略。对输入的原始二进制位流经过加密后,进行调制生成传输信号,其中DNA分集规则、二进制数据与碱基对之间的编码解码规则、密钥碱基序列和DNA碱基序列置乱规则由双混沌系统生成的不同混沌序列动态控制,并且将DNA编码扩展到3位,实现密钥空间向10180量级的大幅扩展,增强了对非法攻击者恶意攻击的鲁棒性,保证系统的物理层安全。所提出的基于混沌加密的滤波器组多载波/偏移正交振幅系统安全策略在25 km标准单模光纤上进行了实验传输,实验结果表明,该加密方法在传输中具有良好的误码率性能,可有效地防止窃听,具有较高的灵敏度和安全性,对滤波器组多载波/偏移正交振幅系统的峰均功率比有一定的有利影响。（3）对于大容量模分复用系统的安全传输,本文中提出了一种基于四维混沌的并行比特交错的安全策略,对信号的星座点分布概率进行扰动后,再对调制后信号的比特和符号进行交错置乱,实现信号物理层安全性能的提高。通过对四维超混沌系统产生的混沌序列进行优化和计算,控制扰动过程,显著降低了加密后信息序列与原始序列的相关度,使用的并行比特交错算法则有效降低了系统的复杂度,使加密效率提高了1.43倍。同时结合多平面光转换技术实现少模传输,并在5 km弱耦合四模光纤实现了3×10 Gb/s的无MIMO传输,该方案能有效提高系统的安全性能,并将少模复用技术与先进调制技术相结合,能很好地应用在未来大容量、高安全性光传输系统中。