硅表面形成的纳米结构展现出许多奇特的物理现象,由于其在多个领域广泛的应用,近几十年来吸引了广大科研人员的研究兴趣。研究量子效应包括量子隧穿效应、自旋轨道耦合等对于硅基表面纳米结构及其稳定性的作用,以及对表面纳米结构相变机制的影响,是当今凝聚态物理、材料物理等交叉学科研究的前沿热点方向之一。该研究方向不但有重要的基础科学研究意义,而且在电子学、自旋电子学、量子器件、集成电路等方面有着广泛的应用前景。本文基于密度泛函理论的第一性原理计算方法,以几种典型的硅的重构表面形成的纳米结构为原型,分别研究了不同的量子效应在其结构稳定性和相变机理中的重要作用。本文的研究内容主要分为四个部分,概括如下:1.当温度低于20 K时,Si（001）表面非对称二聚体在扫描隧道显微镜（STM）实验中呈现为对称的二聚体,其中的物理机制已经成为困惑研究人员已久的科学问题。尽管以往一些研究将实验上观察到的对称二聚体图像归结为是由STM测量本身人为因素所致,但是其中的微观机制仍然含糊不清。论文基于第一性原理计算研究发现,对称二聚体图像是由于量子隧穿效应驱动非对称二聚体振动而引起。具体而言,在低温下电荷局域在表面,通过STM针尖注入的表面空穴降低了非对称二聚体的振动势垒,因此引起了可观的量子隧穿频率;但是,电子注入情况下,上述振动势垒并没有明显降低。研究结果解释了低温下STM实验在满态观察到对称二聚体而在空态观察到非对称二聚体的物理根源。2.分别采用考虑和不考虑自旋轨道耦合（SOC）的第一性原理计算方法系统地研究了在Si（111）和Ge（111）衬底上4/3单层（ML）Pb覆盖度的两种竟争相（H₃和T₄）的基态结构及其微观相变机理。研究发现,对Pb/Si（111）和Pb/Ge（111）两个体系,SOC效应都影响这两种结构的相对稳定性。具体而言,在这两种体系中,不考虑SOC时,T₄结构的能量比H₃结构能量更低,二者能量差ΔE分别为25me V和22 me V。然而考虑SOC作用后,系统的基态均发生了翻转:H₃结构变为基态,两种相之间能量差分别变成-12 me V和-7 me V。深入分析表明,SOC改变基态的原因是由于H₃结构相比T₄结构具有更加不对称的表面电荷分布。而电荷分布的不对称性与px,py,pz轨道的杂化有关,并且导致H₃结构具有相对更大的Rashba劈裂以及更大赝能隙。本论文通过弹性带（NEB）理论计算得到从H₃到T₄发生相变的势垒,对于Pb/Si（111）和Pb/Ge（111）体系分别为0.59和0.27 e V。基于这些热力学和动力学特征,该论文提出H₃到T₄这两种竟争相不仅在低温下将会共存,而且在相对高温时将会发生有序到无序的相变。3.Sn在Si（111）表面的覆盖层是在三角晶格上研究二维相关物理现象的典型体系。以往的理论研究得出的结论都基于表面态主要源于Sn的悬挂键这一假设,并将Sn/Si（111）体系视为一个强关联的二维电子系统。与之相反,本文通过第一性原理计算研究揭示了Sn的悬挂键电子态和Si衬底的表面态显著杂化形成一个共振态:Sn原子5p轨道和Si原子的3p轨道之间的强烈杂化使体系通过超交换相互作用产生了反铁磁序基态,并打开了一个能隙,理论研究结果和近期实验吻合。因此将Sn/Si（111）体系的绝缘体基态归纳为具有能带磁性的Slater类型的绝缘体。4.采用基于密度泛函理论的最新第一性原理计算方法,检验了单个Cu原子以及Cu的幻数团簇在Si（111）-7×7表面的能量和动力学特征。首先,通过描绘出Cu原子在Si（111）-7×7表面的势能面,确认了Cu原子在该表面扩散路径以及高扩散速率。该结果支持以往的实验推测,即三角形亮斑源于单个Cu原子在表面相邻吸附位置的频繁跳跃。此外,研究发现在0.15 ML的覆盖度下,以往实验上所假设的六圆环状结构的Cu6结构相当不稳定,而最稳定的Cu6结构的STM模拟和实验上不匹配。研究排除了6个原子的团簇基态,找到了该覆盖度下能量最为稳定的实心的Cu7结构,并且发现Cu7结构的STM模拟和实验图案保持高度一致。研究结果明确地排除了用于解释实验现象的6原子团簇模型,并且对Cu原子在Si（111）-7×7表面的纳米结构的基态提出了新的理解。