近年来,随着电力系统互联规模越来越大,我国电网建设成远距离、大容量、交直流混合的复杂网络,系统运行方式复杂多变,低频振荡现象时有发生,对电力系统安全运行造成巨大威胁,同时广域测量系统的广泛应用使得基于量测信号的低频振荡模态辨识技术得到重视。本文旨在结合变分模态分解(VMD)和希尔伯特变换(HT)实现低频振荡模态辨识。本文首先分析了Hilbert谱分析的辨识参数与振荡模态参数间的物理关系,由于HT变换不能有效辨识多振荡模态信号,考虑采用模态分解类算法弥补HT变换这一缺陷。通过比较经验模态分解和变分模态分解这两种多振荡模态分解算法对不同参数组合的仿真信号的分解效果,得出了变分模态分解算法在低频振荡模态辨识方面有更好的适应性,提出了一种基于VMD-HT方法的低频振荡模态辨识新思路。然后,针对VMD-HT方法存在的端点效应以及振荡模态个数给定不准确导致的模态混叠和虚假分量现象对VMD算法进行了改进。结合BP神经网络与镜像延拓对振荡信号端点处进行处理,抑制了VMD-HT方法的端点效应;针对低频振荡信号特点提出了基于瞬时振幅熵的振荡模态个数的确定策略。最后利用改进的VMD-HT方法对多机电力系统低频振荡仿真信号及强迫振荡实测信号的振荡模态进行辨识,结果表明本文提出的基于改进VMD-HT的低频振荡模态辨识方法是有效的,对低频振荡模态参数辨识准确,相比于Prony方法,改进VMD-HT方法有着良好的抗噪性,且能精细刻画振荡模态参数的非平稳特征,具有一定的工程应用价值。