齿轮作为一种常见的机械传动装置,广泛应用于农业、工业以及我们的生活之中,但是齿轮相对转动系统在运行过程中,经常会产生剧烈的振动和刺耳的噪声,不仅影响生产的效率,还会危及人们的健康,因此对齿轮相对转动系统动力学行为的研究具有重要的的理论和实际价值。本课题以齿轮相对转动系统为研究对象,分别建立了含非线性间隙和润滑摩擦的非光滑扭振模型,研究了系统在非临界情形下和临界情形下的非光滑失稳机理,同时引入时滞反馈控制和自适应脉冲控制,有效地实现了对系统混沌运动的控制。首先,综合考虑齿轮传动系统中的非线性时变刚度和分段非线性间隙,建立了一类具有非光滑特性的齿轮扭振模型,采用不连续映射思想结合单值矩阵的概念分析了系统周期解的稳定性,然后通过Floquet特征乘子的变化进一步确定了分岔的类型。为了验证Floquet理论的正确性,给出了系统的全局分岔图,并结合系统相平面图、Poincare截面图、功率谱和最大Lyapunov指数谱,讨论了齿轮非光滑系统随着外激励幅值变化时,系统由最初的单周期状态发生连续的倍周期分岔最后进入混沌的失稳过程。最后考虑引入时滞状态反馈对系统的混沌运动施加控制,研究结果表明增大时滞反馈增益和延迟时间都可以有效地实现系统由混沌运动到单倍周期运动的控制。其次,在非光滑齿轮动力模型的基础上,考虑齿间的油膜因素,建立了润滑条件下的齿轮相对转动模型。首先根据擦边分岔的临界条件,给出了擦边点附近的拓扑结构图,并通过数值方法验证了拓扑结构的正确性。然后建立了临界情形下系统擦边切换映射,并根据特征乘子的演变过程对系统的稳定性进行了预测,同时利用局部分岔图和最大Lyapunov指数图等仿真图验证了上述理论的正确性。为抑制齿轮传动过程中混沌造成的有害振动,设计了一种自适应脉冲控制器,数值仿真表明该控制器可以有效的抑制系统产生的各种非线性振动。