模态分析方法将线性系统运动微分方程组中的物理坐标变换为模态坐标以实现方程组解耦，其最终目的是辨识出系统的模态参数。这一方法可以在时域或频域中进行。本文对模态分析方法的若干基本问题进行研究与改进，并尝试将其推广应用于针对密集模态系统的统计能量分析方法中。就频域模态参数辨识而言，一般先由有理分式多项式构建系统频率响应函数的分析模型，继而应用线性最小二乘方法对系统模态参数进行识别。本文针对模态耦合不很紧密的多自由度系统提出了一种全新的参数辨识方法，即：把一个原有的多模态整体辨识过程拆分为由分步单模态辨识实现，并应用迭代算法提高参数的辨识精度。该方法具有较高的精度，同时也放宽了对所辨识模态数量的限制。考虑到频率响应函数的质量对于频域模态参数辨识的重要意义，本文对频响函数拟合与综合进行了系统的研究，提出了一种新的傅氏域离散正交多项式和一种考虑连接动态特性的子结构综合方法。前者可替代有理分式中的幂多项式，并用于系统频响函数的拟合，该多项式可使辨识模态参数的方程组解耦；后者用于复杂子结构系统的频响函数综合，通过考虑连接部件的动态特性使子结构间实现柔性连接。数值和实验结果均显示了两种方法分别应用于频响函数拟合与综合的有效性。注意到，模态参数辨识方法并不适合对密集模态系统进行参数辨识；但受宽带随机激励的复杂结构在高频处往往模态密集，此类问题多采用统计能量分析进行动态特性研究。统计能量分析较模态分析的最大不同在于其并不侧重求解系统的模态参数，而重点考察系统均方速度的空间分布以及各子系统的平均输入及传递功率。基于这一特点，本文对受平稳宽带随机激励下的离散和连续体保守耦合系统进行了研究，应用模态分析方法得到了模态叠加形式的系统响应解，并由线性系统随机振动理论推导出上述系统状态变量的理论表达式。并且，由弱耦合、模态密集及模态高重叠等假设对各状态变量进行化简，最后得到可表征平均传递功率的比例能流系数近似表达式，继而将子系统间的平均传递功率表达为子系统间的模态能量与比例能流系数的乘积。理论计算表明，该式能较好地估计出子系统间传递的平均功率。此外，针对统计能量分析中的另一个重要问题，即需要对系统在特定频段内的模态数量做出准确估计，本文应用相关数论结果得到了方板模态数量的精确表达式。