在风力发电机组中，齿轮箱系统是最重要的部件之一。对风电齿轮箱系统进行结构动力学分析十分重要，模态分析是动力学分析的基础，本文同时采用了有限元模态分析方法和实验模态分析方法来研究风电齿轮箱，能够更深入的了解其动态特性。本文以某型1.5MW风电齿轮箱为研究对象，研究了箱体-齿轮-轴-轴承-行星架的耦合动力学模型有限元模态分析。首先建立一个有效的有限元模型，忽略掉细小特征对结构的影响。对风电齿轮箱进行静力学分析，比较两种不同方式的网格划分。采用弹簧来等效替代轴与箱体之间的轴承，考虑了轴承实际工况中的轴向、周向和径向的作用，采用弹簧等效齿轮副之间的啮合刚度。合理进行边界条件的设置，使其尽可能与实际情况相符，得到风电齿轮箱系统的前十阶模态频率和振型。探讨了轴承支撑刚度和齿轮啮合刚度对系统的振动变形和固有频率的影响。对安装在试验平台上的风电齿轮箱进行了实验模态分析，采用单点激励多点响应的频响函数模态测试方法，利用有理分式多项式法来对实验测试数据进行模态参数识别，得到系统的模态频率、阻尼比和振型。对比研究有限元模态分析和实验模态分析的结果，最大误差为6.9%，发生在第四阶。实验模态分析和有限元模态分析的研究对风电齿轮箱系统动力学的进一步深入研究打下基础，同时对风电齿轮箱的状态监测和故障诊断有着重要的意义。