本文是在国家自然科学基金和中国科学技术大学军工应用基础研究项目(编号KY1102)的资助下完成的，本文的工作包括两大部分，第一是自行研制了一台可用于复合材料飞轮破坏试验的高速旋转试验机，第二是对相关的国际上尚未很好解决的非线性动力学问题进行了研究。 研究定量揭示了不同状态下滚动轴承外载与内外圈相对位移之间的非线性关系，以及刚度与转速的相关性。提出了基于时域分析提取滚动轴承刚度参数的方法，直接测出滚动轴承旋转时的振动响应并将其振动激励处理成白噪声信号，采用时域分析的方法给出从随机振动响应中提取滚动轴承与旋转状态相关的线性刚度和二次非线性刚度的完整方法，并编写了相应的数据处理程序。提出了基于有限元模态分析的迭代算法(简称迭代法)来确定非线性支承转子系统临界转速的完整方法，结果表明此方法是有效的。给出了基于频谱分析的曲线相交法(简称相交法)来测量和确定非线性支承转子系统临界转速的方法，结果表明此方法是有效的。 本文还利用上述相关非线性动力学分析的成果，进一步研究了该试验机系统的动力学特性以及相关参数对系统一阶临界转速的影响。