非线性科学是一门研究非线性现象共性的基础科学，其中混沌理论是非线性科学的一个重要分支。在参阅大量文献的基础上，本文利用理论推导和数值模拟相结合的方法，研究了混沌控制、混沌同步及其在保密通信中的应用。 首先，研究了Rikitake混沌系统的线性反馈同步，基于反馈同步理论设计了控制器，运用Laplace变换原理和终值定理证明了该控制器可使两个Rikitake混沌系统渐进达到同步，简单并且易于实现。 然后，提出了一个新的变形Rikitake系统，研究了该系统的混沌特性。接着研究了参数不确定的变形Rikitake系统的自适应同步和参数辨识问题。基于Lyapunov稳定性理论，设计了自适应控制器和参数更新规则，使得驱动系统和未知参数的响应系统渐近地达到同步，并且可以辨识出响应系统的未知参数。将其应用到保密通信中，能够很好地实现保密通信，恢复出有用信号。 其次，研究了分数阶Rikitake系统的混沌动力学行为。数值模拟证明在适当的参数调节下，分数阶Rikitake系统存在混沌，并且得出分数阶Rikitake系统能产生混沌吸引子的最低阶数为2.94阶。利用线性反馈控制法和劳斯判据研究了分数阶Rikitake混沌系统的混沌控制问题，得出了受控分数阶Rikitake混沌系统的混沌轨道达到不稳定平衡点时的条件。 而且，为了实现保密通信要求，还研究了基于状态观测器方法的超混沌Chen系统的混沌同步问题。根据混沌同步问题的特殊性，基于极点配置原理和系统能控和能观的要求，设计了一种基于状态观测器的混沌同步控制器，能够很好实现两个超混沌Chen系统的同步。 最后，应用了一种基于状态观测器同步的保密通信系统模型，该模型以混沌系统为加密调制器，以观测器混沌同步系统为解调器。分别采用振幅隐蔽调制和扩展频谱调制两种方法进行保密通信，验证了观测器混沌同步方法的有效性。仿真结果表明，利用状态观测器混沌同步方法不仅能够实现对信号的解调，而且具有较强的抗干扰能力。