非线性科学是一门研究非线性现象共性的基础科学,其中混沌理论是非线性科学的一个重要分支。本文利用理论分析和数值模拟相结合的方法研究了混沌的控制、同步以及混沌在保密通信中的应用,作者所做的主要研究工作如下。混沌控制方面：(1)基于离散线性系统的稳定性理论,使用状态反馈法实现了一维Logistic映射和二维Logistic映射的不稳定低周期态的镇定,并且成功控制了这两种系统的分岔点。(2)分别采用直接反馈法、自适应控制法和参数扰动法对Liu系统进行混沌控制,使Liu系统收敛于平衡点,呈现周期态,甚至进入超混沌状态。(3)针对Lorenz系统,添加一个非线性控制器将之构造为超混沌系统,并对新构造的超混沌系统给出相应的电路实现。(4)为一类混沌系统设计普适追踪控制器,使之追踪任意确定的外部参考信号。完全同步方面：(1)针对异结构混沌系统间的自适应同步,设计了具有一定普适意义的自适应同步控制器和参数更新规则,为一类参数不确定的混沌系统间的自适应同步提供了一种通用的解决方案。(2)通过几个具体例子,研究了如何使用尽量少的信道实现混沌系统的单向耦合同步。(3)为超混沌Lu系统设计简单易行的脉冲同步方案,通过单信道传输实现脉冲同步。(4)基于分数阶系统稳定性理论,研究了分数阶Liu系统在不同分数阶下的动力学行为,提出一种理论计算方法来得到分数阶系统维持混沌态的最低阶数,并给出分数阶系统实现线性耦合同步的简单判据。广义同步方面：(1)分别用主动控制、全局控制、变量替换三种方法实现了超混沌Chen系统的反同步,并对三种方法加以对比。(2)用变量替换法实现了超混沌Chen系统的单信道投影同步。(3)提出一种分数阶混沌系统基于主动控制实现广义同步的方法,不仅适用于维数相同的混沌系统,也适用维数不同的混沌系统,作为分数阶特例的常微分系统也同样适用该广义同步方法。混沌保密通信方面：(1)在超混沌系统单信道耦合同步的基础上,设计基于混沌掩盖的保密通信方案,并进行相应的仿真实验。(2)基于参数调制原理,设计了一种保密通信方案,该方案可用于传递模拟信号；若以不同频率的连续信号代替“0”和“1”,辅以滤波方法,还可以用该通信方案传递数字信号。仿真结果验证了该数字保密通信系统的有效性。本文得到国家自然科学基金(60573172,60973152)、高等学校博士学科点专项科研基金(20070141014)和辽宁省自然科学基金(20082165)资助。