含有特殊非线性结构的动力系统具有广泛的实际应用背景，同时存在着较多复杂的非线性现象，关于其动力学特性及其产生机理的研究是当前动力学与控制研究领域的热点课题之一。含特殊结构的系统由于强非线性、奇异性等特点往往会导致系统产生一些特殊的动力学特性，这些特性的产生机理不能运用传统的非线性理论进行解释，需要进一步探索相应的理论体系。本文分别对含有时滞的光滑动力系统和具有多尺度因素的非光滑动力系统展开研究，运用时滞微分方程的稳定性理论、分岔及控制理论和Filippov系统的微分包含理论等相关知识，探讨这两类系统的复杂动力学行为及产生机理。
　　本文的主要工作如下：
　　1.研究了一类具有双时滞的非线性系统的动力学性质。通过选取捕食-食饵模型，建立了一个具有食饵避难所和Beddington-DeAngelis型功能反应函数的双时滞光滑动力系统。首先，证明了在无时滞情形下系统解的正性、有界性、平衡点的存在性及每个可行解的局部稳定性。其次，运用比较定理和构造合适的Lyapunov泛函，并结合Lasalle不变性原理，分别给出了无时滞情形下系统平衡点的全局稳定性条件。再次，以时滞为分岔参数，从理论上确定了含时滞系统的局部稳定性质、Hopf分岔的存在性和全局稳定性质，并运用中心流形的降维思想，分析了Hopf分岔的性质。最后，运用数值模拟验证了理论分析结果，分别给出了时滞及食饵避难所这两个特殊非线性结构对系统动力学影响的生物解释。
　　2.探讨了一类具有时滞和阶段结构的非线性系统的分岔与控制问题。首先，讨论了系统解的正性和平衡点的存在性。然后，通过选取时滞作为分岔参数，分析得到了系统平凡平衡点、边界平衡点以及正平衡点的局部稳定性，同时讨论获得了正平衡点处Hopf分岔的方向及分岔周期解的稳定性。此外，为了保护此生物系统的稳定性，提出了一种基于反馈控制和参数扰动的混合控制方法来控制其分岔。最后，通过数值算例验证了理论分析的正确性。
　　3.利用基于状态反馈和参数调节的混合控制方法，考虑了具有双时滞非线性系统的分岔控制问题。以捕食-食饵模型为范例，通过对特征方程的分析，讨论其局部稳定性和两时滞下Hopf分岔的存在性。经研究发现，该控制方法使原有系统的分岔得到延迟，并进一步根据中心流形定理和规范型理论，给出了Hopf分岔性质的判定条件。最后，利用数值模拟说明了该混合控制策略对Hopf分岔控制的有效性和可行性。
　　4.揭示了频域两尺度下的Filippov系统的簇发振荡和分岔机制。以经典的蔡氏电路系统为基础模型，构建了一个两时间尺度下的非光滑动力系统。通过平衡点的稳定性分析，给出了系统可能产生fold分岔和Hopf分岔的条件，借助微分包含理论引入一个辅助参数，讨论了系统轨线穿越非光滑分界面时可能发生的非光滑分岔。数值模拟给出了不同参数条件下系统的簇发振荡行为，由分岔条件并结合分岔曲线与转换相图之间的叠加分析，探讨了周期簇发振荡不同状态之间转迁的动力学机制。