轧机主传动系统是轧钢机的重要组成部分，近年来随着轧制速度的一再提高，轧机主传动系统的扭转振动现象日益突出。轧机发生扭振时会影响到产品的质量和产量，严重时甚至会对轧制设备造成破坏性损害，因此轧机主传动系统的扭振问题对于现代钢铁行业具有重要的研究价值。本论文以轧机主传动系统为研究对象，从扭振系统建模、稳定性分析以及扭振控制三个方面对轧机非线性扭振系统展开研究，用解析的方法给出扭振系统的失稳振荡规律以及控制策略，推动轧机振动理论及工程应用的进一步发展。首先，考虑系统结构参数和外扰激励等非线性因素的影响，基于广义耗散系统Lagrange原理，建立具有非线性刚度和外扰激励作用下轧机主传动非线性扭振系统的动力学普遍方程。设计时滞非线性反馈控制器，在主共振情况下，利用多尺度法对受控系统进行摄动分析，根据Hopf分岔理论研究时滞参数对系统Hopf分岔及极限环的影响，给出极限环的稳定条件和幅值计算公式，最后用数值模拟对所得结论进行验证。其次，考虑组合谐波激励的影响，利用多尺度法求解主传动系统发生组合共振时满足的分岔响应方程并进行奇异性分析，得到了系统稳态响应的转迁集。根据异宿轨道参数方程，求解异宿轨道的Melnikov函数，并给出系统发生Smale马蹄变换意义下混沌的临界条件。最后采用数值方法，通过分岔图，最大Lyapunov指数图，相轨迹图和庞加莱截面图研究系统参数对混沌运动的影响。最后，考虑刚度强非线性的影响，运用MLP法对具有二次、三次非线性刚度的强非线性扭振系统进行动力学响应求解，利用奇点稳定性和奇异性原理研究主传动系统在自治和非自治条件下的分岔行为。在主共振的条件下，讨论分岔响应方程的稳定性，给出分岔曲线的拓扑结构。应用数值方法作出系统响应随扭转刚度变化的分岔图，研究扭振系统周期、倍周期以及混沌运动的演化过程。最后，利用直接变量反馈法将主传动系统的混沌振动控制到稳定的周期二运动。