宇宙中广泛存在着各种尺度的三体系统,从小质量的行星-卫星体系到星系中心的超大质量黑洞体系。虽然严格的三体问题在数学上不可积,但是我们可以将它简化为一个内双星外加远处一个第三体的层级体系。在这个框架下,通过将相互作用势能进行多极矩展开,三体问题变为研究一个内双星和一个外双星的轨道相互作用。Lidov与Kozai最早在上世纪六十年代研究了这样一个模型。通过将相互作用势展开到四极矩,忽略内双星其中一颗星的质量,发现当内、外双星轨道平面间初始夹角大于40度时,内双星轨道的偏心率与相对于外双星轨道平面的夹角会有长周期的振荡。尤其给出预言：当两个轨道初始夹角接近90度时,内双星轨道偏心率甚至无限接近1。这一现象我们现在将之命名为Kozai效应。近年来,大量研究发现,Kozai效应在很多天体系统中都起着重要作用。例如：密近双星的形成；热木星的形成；系外行星不规则的偏心率分布；致密双星的合并等。近几年的工作指出,如果将相互作用引力势能展开至八极矩,内双星的偏心率能够被激发至极值(1-e～10-6),并且伴随着轨道角动量的翻转。本文系统介绍了Kozai机制的哈密顿力学。在考虑了短程力的影响下,我们开展了两项工作,分别研究了在平均化近似下短程力对Kozai效应的抑制与共振。接着,我们将Kozai机制运用到超大质量双黑洞体系,采用N-body数值积分的方法研究恒星双星的演化。在第一项工作中,我们考虑广义相对论,潮汐形变与自转形变等短程力所引发的近星点进动效应,可能会抑制由Kozai机制所导致的偏心率的增长。我们系统的研究了这些短程力如何影响八极矩Kozai近似下的轨道极端行为。一般来说,八极矩势能的作用范围可以用轨道间初始夹角描述,体现为一个作用窗口(轨道夹角的区间)。八极矩势能越强,作用窗口越大。我们发现,短程力的引入并不会改变作用窗口的大小与位置,只会对偏心率的激发有所限制。这一偏心率的极值能够被解析地推导出来,而且不管对于较强的八极矩还是非测试粒子情况均符合的较好。同时,短程力也会影响轨道角动量的翻转。短程力效应越强,轨道翻转越是难发生(只有初始轨道间夹角在90°左右才能翻转)。在第二项工作中,我们考虑在较远处第三颗星的微扰下,致密双星在合并过程中的动力学演化。众所周知,引力波辐射会带走轨道能量,导致轨道半长轴衰减。通过数值计算发现,随着内双星轨道收缩,系统会经历一个内、外双星近星点进动共振态。同时,内、外双星的偏心率被激发态,对应的引力波频率也发生改变。对有些系统,例如白矮星双星系统加褐矮星组成的三体系统,共振发生时,双星辐射的引力波的频率恰好在空间引力波探测器LISA工作频段。如果采用低偏心率与共面的线性近似,我们能解析的推导出共振条件,且能估算出偏心率的最大激发值。通过一系列的数值模拟,我们还考察了高偏心率与倾斜轨道的共振效应。在第三项工作中,我们研究了绕旋超大质量双黑洞的恒星双星系统的演化。这里,四体系统可以在结构上被拆分为两个“内／外三体”系统。如果恒星双星距离第一个超大质量黑洞较近,“内三体”允许发生Kozai振荡,双恒星更容易合并；如果恒星双星距离第一个超大质量黑洞较远,“外三体”允许发生Kozai振荡,双恒星更容易发生潮汐撕裂,我们通过N-body的数值模拟验证了这一猜测。在超大质量双黑洞的轨道半长轴衰减时,整个四体系统会发生由“内三体”Kozai振荡向“外三体”Kozai振荡的转移。即,双恒星合并率减小而潮汐撕裂发生率增加。