主轴-转子-轴承系统是大型旋转机械传动装置的中心机构,往往是在高速且重载的工作条件下运转,再加上零部件不平衡质量导致的弯扭振动耦合,系统振动表现出复杂的非线性振动特性,严重影响传动系统的功能实现和安全稳定。为此,深入展开对主轴-转子-轴承系统的非线性振动特性研究对抑制系统振动、提高传动装置高效稳定运转有着深远的工程意义。本文的研究对象为某特种车辆综合传动装置的主轴-转子-轴承系统,该系统因弯扭耦合导致多源激励相互作用再加上结构不对称缺陷,使得主轴在起步工况下出现右端断裂问题,为此本文开展主轴系统固有特性求解、稳态以及起步换挡工况下非线性振动响应研究、关键参数对系统非线性振动稳定性的影响研究以及主轴结构的参数优化研究。论文主要研究内容如下:（1）研究对象主轴-转子-轴承系统中既有不平衡质量、轴承非线性赫兹力、花键不对中啮合力等内部非线性激励,又承载着负载激励和发动机波动扭矩等外部激励,基于集中质量法建立了主轴-转子-轴承系统多源非线性动力学模型,并确定了相关构件的结构参数,为后续研究奠定基础。（2）针对所建立的主轴-转子-轴承系统多源激励非线性振动模型,基于刚度矩阵法求解了系统的固有频率,并分析了主轴刚度对系统固有频率的影响;利用Runge-Kutta法仿真求解得到了系统工作时的稳态响应以及换挡时的瞬态响应,基于前述分析工作,总结得到主轴右端断裂原因;（3）针对所建立的主轴-转子-轴承系统多源激励非线性振动模型,利用数值仿真获得主轴转速、质量偏心、主轴刚度、花键静态不对中及轴承游隙等关键参数对主轴动载荷的影响,并结合分岔图、相图、Poincaré截面图等非线性振动分析方法分析了上述参数对系统稳定性的影响;（4）针对标准粒子群算法易过早收敛到局部最优解的问题对其提出了改进,基于参数灵敏度的分析结果应用改进的PSO（Particle Swarm Optimization）算法对主轴系统开展了多工况振动抑制优化。