试验模态分析在结构的健康监测、损伤识别、动力学特性分析等方面具有重要的工程应用价值，大型机床、精密医疗器械、航空航天飞行器等机械构件整体振动特性精度需求的日益提高，使得模态参数识别精度的要求越来越高。传统的频响函数模态识别方法基于傅里叶变换算法实现，小波变换因其特有的时频局域变换特性，可对信号进行多尺度细化分析，因此对提高模态参数识别精度及进行非线性结构系统模态参数的识别方面具有潜在的研究价值。本文分析了以傅里叶变换(FFT)为核心的频响函数模态参数识别法，根据频响函数与模态参数之间的关系，利用MATLAB/Simulink仿真和脚本文件编程实现响函数法求解模态参数算法。应用三自由度线性振动系统实例，进行了仿真模型的模态频率和阻尼比的识别研究，证明了算法的正确性。在小波变换理论的分析及其与傅里叶变换分析对比的基础之上，借助时域卷积定理，推导了小波系数的求解算法，并且处理了编程过程中的关键问题。采用具有良好时频域局部特性的Morlet小波，引入了小波的中心频率和带宽两个调节因子，利用小波系数脊线提取法进行了模态参数识别，识别结果表明了小波变换模态参数识别的高精度。针对非线性模态参数识别问题，利用等效线性化验证了三自由度刚度非线性杜芬(Duffing)方程的特性，使用小波变化算法识别了单自由度杜芬方程的模态频率，验证了小波算法在一定程度上可以识别出模态参数中的非线性因素。研究了Visual Basic6.0和OpenGL三维动画显示的实现方法，开发了试验模态分析系统的显示平台。通过建立几何节点，连点成线自动生成线框模式的结构体，并可以实现结构体的放大缩小、平移旋转的功能从而查看结构体模态振型的整体和局部的变化信息。