船舶在波浪上航行时，易产生大幅的横摇运动，船舶做大幅横摇运动时表现出复杂的非线性。严重的非线性横摇在外力或其它因素激励下极易导致船舶的倾覆。本文利用多尺度法对船舶在波浪中的非线性横摇运动的近似解析方法进行了研究，并应用非线性动力学原理对解的稳定性进行了分析。 首先，本文讨论船舶非线性横摇运动中非线性阻尼力矩和非线性复原力矩的数学表达形式，并建立船舶在波浪中的非线性横摇运动方程。 其次，利用多尺度法分析船舶在波浪中接近主共振时的非线性横摇运动，并给出该情况下的近似解，利用长期项条件分析其幅频响应特性。并在MATLAB下以四阶五级的Runge-Kutta法进行非线性横摇的数值模拟，验证了近似解析解的有效性。 再次，利用Floquet理论对解的稳定性进行了分析，分析了其多值、跳跃、分岔、混沌等现象。 然后，利用Melnikov方法，通过构造船舶运动的Melnikov函数求得了导致船舶倾覆的波浪条件的阈值。 最后，利用Lyapunov特性指数法进行了船舶运动混沌态的识别，并利用该方法精确确定了船舶出现混沌态时外激励的阈值。