对不可积哈密顿系统混沌运动的研究具有重要的理论意义和实际应用价值,对它的混沌控制和半经典量子化研究是现代非线性科学重要研究课题。本论文通过对Henon-Heiles体系这个典型的二自由度不可积哈密顿系统的研究,从混沌轨迹角度和周期轨迹两个不同的方面进行了理论和数值的分析探讨,通过这些探讨,我们对不可积哈密顿系统混沌运动有了更深的了解,为我们进一步探索分子振动态的动力学特征打下基础。其主要内容和创新点如下:1.周期轨迹是研究不可积哈密顿系统动力学特性以及对体系进行混沌控制和量子化的关键,本文首先介绍了寻找体系的不稳定周期轨迹的Multipoint Shooting方法,同时利用此方法分别在Henon映射、Henon-Heiles体系、DKP体系混沌系统中分别找出了体系的部分周期轨迹,并与牛顿拉夫申方法在计算方法和速度上做了比较,揭示了MultipointShooting方法利用周期n的所有预测点,可以减小牛顿拉夫申方法的初始点的轨迹指数分离问题,有效的提高收敛的速度。2.利用庞加莱截面研究了Henon-Heiles动力系统的相空间轨迹,分析了其动力学特性,揭示了它产生混沌运动的过程和现象,总结了其规律,同时研究了它的三类周期1轨迹,讨论Henon-Heiles动力系统的结构稳定性和在空间的局部拓扑结构,并得到了其周期点失稳时的一系列临界值。3.针对我们所寻找到的Henon-Heiles哈密顿体系周期轨迹,在能量E一定的时候,我们选择它的某些周期一,周期三轨迹利用LDG方法对其进行控制,并控制系统在目标轨迹上进行任意转换,同时分析了其方法上的优点和局限性。4.由于周期轨迹的作用量积分与体系的能量有着简单的线性关系,我们通过计算Henon-Heiles体系各能级下的周期轨迹的作用量积分,构建出相应的量子能级,并作出分析,揭示了周期轨迹和量子化的深层涵义。