非线性动力学,通常称为混沌理论,它改变了看待自然和社会系统动力学的传统科学思维方式,在过去的几十年里得到了蓬勃的发展。混沌是非线性系统的一种本质特征,是一个有界的不稳定的动力学行为,对初始条件敏感,包含无限不稳定周期运动。虽然它貌似随机,但是它发生在确定的条件下确定的非线性系统中。对于许多工程应用来说,生成一个具有复杂拓扑结构如多翼或多涡卷吸引子的混沌系统,有时成为一个关键问题。在这一过程中,基于光滑和非光滑非线性函数的自治系统中产生多翼吸引子和基于非光滑非线性函数的自治系统中产生多涡卷吸引子是目前主要两种实现方法。在大多数物理和工程应用中,由于混沌的不可预测性,混沌通常被视为有害的和不受欢迎的。然而,近二十年来,随着对混沌控制和混沌同步等开创性工作的研究,混沌被证明可用于保密通信领域。通过研究复杂混沌系统生成和同步理论,本文主要的创新工作可概括如下：(1)采用非线性的指数函数和双曲函数,构造了二个只有五项的三维指数型和双曲型混沌系统。当所有平衡点稳定的时候,系统能产生二翼混沌吸引子。与已发表的三维混沌系统相比,不仅系统项数要少一些,且在参数变化时,呈现出混沌的范围也大。基于相同理论,本文还提出了二个二翼指数型和双曲型超混沌系统。该二个系统都是自治的且只有一个平衡点,并系统在该平衡点处发生了Hopf分岔。(2)本文提出了一组具有五个实平衡点的四维自治混沌系统。随着系统某个单一参数的变化,该组系统可以分别产生一翼、二翼、三翼和四翼吸引子,且吸引子在所有方向上都能表现出多翼形式。在三维单涡卷混沌Colpitts振荡器模型中引入两个分段线性三角波函数,构造了一个四维斜网格多涡卷超混沌系统。通过对一个三角波函数内部参数的调节,实现了多涡卷网格倾斜度的控制。同时,通过对两个三角波函数的零点配置来扩展相空间中指数2的鞍焦平衡点,使涡卷数量不但随着转折点数量的增加而增加,且能产生任意倍的乘积。(3)本文研究了具有完全不确定参数的混沌系统投影同步。基于李雅普诺夫稳定性理论和Barbalat引理,设计了一个新的具有参数自适应律的控制器,利用该控制器分别实现了二个结构相同的双曲型和不相同混沌系统的渐进性和全局性完全同步和反同步。基于传统的投影同步技术,提出了一个新同步方法——完全切换改进型函数投影同步,驱动和响应系统的状态变量之间完全切换,且同步到一个标尺函数。该不确定标尺函数在完全切换改进型函数投影同步中可以有效地增强通信的保密性。最后,以五项指数型混沌系统为例,数值模拟验证了该控制方案的有效性和可行性。大多数同步方法在同步过程中需要构建合适的李雅普诺夫函数,在实际应用中,构建李雅普诺夫函数仍然是困难的。基于此,本文采用雅克比矩阵方法提出了一种扩展的同步控制机制,实现了二个混沌系统的同步,而且在同步过程中并未删除驱动系统的非线性项。最后,以双曲型超混沌系统为例验证了该方法的有效性。(4)基于完全切换投影同步和指数型超混沌系统,提出了一种改进的混沌掩盖保密通信方案,在发送端和接收端的混沌系统中,分别引入有用信号和混沌信号的混合信号的反馈,提高同步精度,从而克服了传统的混沌掩盖的一些缺点,实现了有用信号的加密和恢复。其次,本文通过一个鲁棒的高阶滑模自适应控制器,研究了一个具有外界干扰的四翼混沌系统的保密通信机制。由参数调制理论和李雅普诺夫稳定性理论,实现了发射机与接收机之间的同步和保密通信,二个有用信号得以恢复。此外,通过所提出的自适应控制器,接收系统的增益可以连续可调、未知参数可以准确地识别以及外界干扰可以同时抑制。