团簇科学是物理学和化学两大学科的一个交汇点，近年来，已成为材料科学新的生长点。团簇的一些特殊性质，如幻数稳定性、磁性、表面化学活性等，与许多基础科学和应用科学息息相关。因此，团簇科学渐渐成为引人注目的研究热点。研究团簇性质的前提是了解其稳定结构，实验上直接测定自由团簇的结构很困难;在理论上确定团簇的基态结构也是一个极其复杂的全局优化问题，是当前纳米团簇研究的难点所在。本论文采用遗传算法结合密度泛函理论方法，分别对Pt-Sn合金团簇体系、过渡金属V掺杂Si团簇体系、具有A@B12@A20的三层核壳结构的超原子团簇体系这三类混合团簇进行模拟和设计，给出了它们的结构和生长规律，研究了它们的电子性质，并讨论了它们在催化和磁性方面的应用。　　金属铂是重要的化工催化剂，但在反应中易中毒，催化活性迅速降低，进而造成催化剂失效。含Pt的双金属合金尤其是Pt-Sn合金，可以有效避免催化剂中毒，大大提高Pt的催化效率，但其纳米颗粒的微观结构却鲜为人知。本文第三章对Pt-Sn合金团簇进行研究，选择两类不同原子数量比的团簇，PtnSnn(n=1-10)和Pt3mSnm(m=1-5)，通过遗传算法确定它们的较低能量结构。研究表明Pt-Sn键结合较强，在团簇中两种原子互相融合。在PtnSnn团簇中Sn原子容易在团簇表面分散开，Pt原子位于分离的活性位点，这导致了一到两个Pt原子能够参与催化反应。在Pt3mSnm团簇中，Sn原子因数量较少，不形成Sn-Sn键，3个Pt原子易组成三角形面。本研究给出了Pt-Sn混合双金属团簇结构和键合特征，有助于理解其催化行为。　　半导体硅是现代微电子工业的重要支柱，由于硅原子的sp3杂化特征，硅团簇的空笼结构不稳定，可以通过掺杂合适的过渡金属原子提高其稳定性。引入一些特定的金属原子还可以获得磁性半导体。国际上对单原子掺杂的硅团簇已经开展了很多理论和实验研究，但对于多原子掺杂的硅团簇，由于其结构复杂而鲜有研究。本论文第四章对3个V原子掺杂的Si负离子团簇体系(V3Sin-(n=3-14))进行了系统研究，使用遗传算法结合密度泛函理论计算获得了较低能量结构，并模拟了其紫外光电子谱和实验进行对比，计算了垂直和绝热电离能，结果和实验相符得很好。一般来说，3个V原子易于相互结合在一起形成很强的V-V键;从n=11开始，形成内部有一个V原子的笼型结构，这些团簇大多数是无磁性的。特别地，V3Si12-团簇中3个V原子成直线排列，结构呈D6d高对称性，足一个亚铁磁性团簇，总磁矩为4μB。基于此，我们又系统研究了少量V原子掺杂的Si12团簇(VxSi12-(x=1-3))的电子性质，还设计了一维的以V原子链为中轴的亚铁磁性纳米线。　　在混合团簇中有一类能够形成洋葱型多层核壳结构的团簇，具有Ih对称性，前人在实验上制备和观察到了[As@Ni12@As20]3-和[Sn@Cu12@Sn20]12-两种洋葱型团簇。在此基础上，我们设计了一系列型如A@B12@A20的团簇，其中A=Sn，Pb; B=Mg，Zn，Cd，Mn，本论文的第五章对此类团簇进行了系统研究。我们用遗传算法结合密度泛函理论计算的方法证实了这类多层核壳结构的确是A21B12二元合金团簇的最低能量结构。计算表明它们都具有较大的最高占据轨道和最低非占据轨道之间的能隙(HOMO-LUMO能隙)和较低的形成能。这些团簇具有Ih高对称性，都遵守108电子规则，该规则来自于高角动量的超原子轨道分裂。特别是Sn@Mn12@Sn20和Pb@Mn12@Pb20两个包含Mn原子的团簇具有非常大的磁矩(28μB)，而且团簇间相互作用很弱，二聚体具有56μB的磁矩，这使得它们成为新奇磁性材料和自旋电子学器件的理想构造单元。　　本论文的工作，为深入理解不同类型的混合团簇的基态结构，探索混合团簇及其相关纳米结构的电子性质和催化活性，理解和解释实验数据，设计新型的磁性纳米材料，提供了重要的理论参考。