原子(或分子)团簇的几何结构是其最基本的特征之一,直接影响着团簇的其它物理化学性质。因此,预测团簇的基态结构常常是团簇研究的第一步。然而,由于团簇构型空间随团簇大小呈指数型增长,该问题在理论上被证明是NP-hard问题。对于NP-hard问题,目前计算机科学界普遍认为不存在多项式时间复杂度的精确算法。在这种背景下,国内外学者提出了大量的启发式算法。启发式算法虽然不能保证获得问题的最优解,但它能在合理的计算时间内给出满足一定要求的次优解,从而成为求解NP-hard问题的现实途径。本文针对以下三种团簇设计了四个启发式算法,即Lennard-Jones团簇,多体势能建模的金属团簇及二元合金团簇。Lennard-Jones团簇由对势能(pair potential)建模；由于在表述及计算上的简单性,它已成为团簇优化算法的试金石；另一方面,由于在势能形式上过于简单,它只能用于建模少数惰性气体团簇。对于更复杂的团簇,如金属团簇及合金团簇,多体势能可以更精确地描述原子间的相互作用,从而被物理化学家广泛采用。在目前的研究中,我们采用了Gupta多体势能给金属团簇与合金团簇建模。对于Lennard-Jones团簇的优化,我们提出了一个混合的启发式算法,即含内部算子及两阶段局部下降的动态格子搜索算法。在该算法的前一阶段,内部算子将若干能量较高的表面原子移入团簇的内部,从而逐渐地降低团簇的势能并使其构型有序；并且,两阶段局部下降算法通过利用一个修改的势能模型把搜索过程引入有前途的构型区域,极大地提高了算法的成功率。在算法的后一阶段,一个动态格子搜索算法对团簇表面的原子进行优化,进一步降低了团簇的势能。算法在N<680范围内的团簇上进行了测试。计算结果表明,当前算法在计算效率上明显优于文献中已有的算法；而且,对于LJ533、LJ536这两个算例,当前算法改进了先前的最好结果。此外,为了强调搜索的无偏性,提出了该算法的一个变种；计算结果表明了它的有对于Gupta势能描述的金属团簇,提出了一个改进的动态格子搜索算法。在先前的文献中,动态格子搜索算法被用于搜索Ag原子团簇的最低能量结构,其中单个原子的能量使用了传统的定义。然而,计算结果表明,这种动态格子搜索算法的性能不够理想。为了使动态格子搜索算法更好地应用于金属团簇,我们为团簇中单个原子的势能提出了一种新的定义,并对动态格子搜索算法进行了改进,得到了一种改进的动态格子搜索算法。计算结果表明,改进的动态格子搜索算法其性能优于先前的动态格子搜索算法,而且能为大量的金属团簇找到新的最低能量构型。二元合金团簇由两类金属原子构成,相应的结构优化问题涉及到连续优化和组合优化,其中连续优化目的在于为团簇找到最优的几何构型,而组合优化目的在于为两类原子找到最优的排布。针对该问题的特征,我们提出了一种启发式优化算法,其中三种优化操作被联合地使用,即有启发式扰动的单调跳坑算法(MBH),表面优化算子,迭代的局部搜索算法(ILS)。通过对三种合金团簇进行优化,本算法找到了11个新的最低能量构型,并且,对于剩下的团簇证实了先前的最优构型。另一方面,在计算速度上,该算法优于文献中的其它算法。这些结果清楚地表明了本算法的效率和搜索能力。上述研究成果表明,启发式算法是求解团簇结构优化问题有效途径。有许多方向可扩展当前的研究,如将启发式算法与演化算法进行组合。进一步的研究将为团簇优化问题设计更高效的启发式算法,并将其应用于其它团簇的结构预测。