过去的30年中,以非接触原子力显微镜(nc-AFM)为代表的扫描探针显微镜获得了飞速的发展。扫描探针显微镜不仅可以得到表面上原子结构、化学成分、电子和磁性结构原子尺度上的信息,更为重要的是它提供了一种在表面上对原子或者分子进行直接操纵的手段。本研究在实验中使用工作在频率调制模式下的nc-AFM对表面分子自组装阵列进行了研究,同时基于密度泛函理论(DFT)模拟计算对针尖-样品相互作用机理进行理论分析并借此阐释了AFM的图像衬度。结合实验结果和理论计算,本论文提出通过测量针尖在参照表面上的响应信息,可以在实验之前对针尖进行原位指纹鉴定。基于密度泛函理论对分子间相互作用进行定量化分析时需要对分子间色散力进行合理处理。本研究基于色散力修正的密度泛函理论对C60分子的相互作用势进行了理论计算,并对分子晶体低温有序相中C60的取向机制进行了理论分析。对基组重叠误差进行校正后计算得到的两个C60分子间取向相关的结合能为211-280meV,与AFM直接测量的数据相符。从DNA分子碱基对的精妙组合到表面分子自组装的对称排列,氢键对于理解物理和化学中大量无机和有机体系的性质极其重要。本研究使用nc-AFM对萘四羧酸二酰亚胺(NTCDI)分子在Ag:Si(111)-((?)×(?))R30°表面的二维自组装行为和分子阵列与针尖之间的力场进行了研究。使用自发功能化的针尖,在实验图像中得到了对应于分子间氢键的衬度。本研究基于DFT模拟和计算了不同针尖在表面特征位置的力谱并与实验测量进行了对比,发现O朝下NTCDI针尖的计算结果与实验力谱符合度最高,同时其可以提供最清晰的分子内和分子间衬度。对分子内部结构成像要求AFM工作在排斥力区域。当AFM针尖使用极化分子进行钝化后尖端可能有负电荷聚集,例如O朝下NTCDI针尖和CO针尖,此时库伦排斥会增强针尖与表面电子富集区域之间的排斥力。由于表面电子富集的区域为原子和化学键的位置,位置相关的库伦排斥可以增强图像的衬度,从而在nc-AFM中得到分子内和分子间衬度。为了在nc-AFM中得到亚分子级衬度,实验前需要对针尖进行功能化处理。针尖的状态和结构非常复杂。使用AFM进行定量测量的最大阻碍是针尖的具体状态在实验前,实验中,甚至实验后都是未知的。为了分析实验结果,需要对多种可能针尖结构进行建模和计算,而这是非常耗时的。本研究提出了一个两步骤实验策略,不仅能够实现对针尖指纹的原位鉴定,也可以很方便地将针尖转移到其它感兴趣的表面区域进行研究。实验中进行针尖鉴定之前,需要使用DFT模拟计算建立一个包含有各类针尖特征信息的指纹数据库,数据库中包含不同结构的针尖对参照表面特征位置的静力学响应信息(力谱数据和AFM图像)和动力学响应信息(能量耗散信号)。随后,可以使用结构已知的针尖在表面感兴趣的区域进行研究。本论文以Si(111)-7×7和Ag:Si(111)-((?)×(?))R30°表面的混合结构为例演示了如何建立数据库和进行针尖指纹鉴定,以及如何使用鉴定后的针尖开展亚分子级分辨率的成像研究。小分子在表面的扩散机制一直以来是研究的热点。本研究中使用扫描探针显微镜对1,3-二(咪唑基-1-亚甲基)苯分子(Walker)在Cu(110)表面的定向扩散行为进行了研究,并借助于DFT计算对扩散机理进行了分析。理论计算表明,Walker分子在Cu(110)表面定向扩散的原因在于其特殊的吸附方式。两个咪唑基上的N原子与表面上的两个Cu原子共价键合,分子两侧咪唑基-亚甲基在功能上类似于Walker分子的两条腿。Walker分子站立在表面Cu原子上并能以依次迈步的方式沿着表面原子列扩散。对扩散的最低能量路径进行分析后发现,Walker分子沿着原子列方向的扩散势垒约为0.15eV,跨越原子列方向的扩散势垒约为0.47eV。