原子力显微镜凭借其超高分辨率的观测能力成为现代表面科学领域使用最广泛的观测、操作工具,在许多前沿研究领域具有应用前景,不仅可以应用于半导体、绝缘体等各种新型材料表面研究,还可以进行表面原子/分子操作,推动了原子器件的发展。在原子力显微镜系统中,探针振动的微弱信号检测是整个仪器的核心技术,悬臂偏转检测传感器的灵敏度成为原子力显微镜性能评估的重要的影响因素之一。目前原子力显微镜最常用的光偏转微弱信号检测系统易于操作,但是其噪声水平较光干涉方式还较高,而现在基于原子力显微镜的研究都要求超高的分辨率却很少机构去研究仪器噪声水平降低的方法。基于此本文进行了光偏转检测系统的优化工作,具体研究如下:第一,深入研究了原子力显微镜的工作原理,分析了多种悬臂偏转检测方式的优劣。对传统光偏转检测方式的设计理论进行研究,提出了提高灵敏度降低噪声的新方法,并进行了新型光偏转检测系统的设计及配套的前置放大、滤波电路和运算电路。第二,对新设计的光偏转检测系统进行具体的测试。较传统的光偏转检测系统,我们所设计的系统拥有更好的激光质量,三维且易于调节的光路结构,并拥有能直观的反映系统光路的对准情况的功能。第三,利用所设计的光偏转检测系统进行探针振动的测试和系统噪声的测定,得到探针的共振频率及并拥有较高的品质因数,通过总噪声的测定和热噪声的计算,得出并标定了系统的噪声水平,证明我们所设计的光偏转检测系统的高灵敏度低噪声性能。第四,将所设计的光偏转检测系统运用到自制超高真空室温非接触式原子力显微镜中进行图像分辨率测试,验证了系统测量探针与样品之间电势差和力谱的功能,补偿了探针与样品之间静电力的影响,说明了原子间相互作用力与距离之间的依赖关系。通过扫图实验我们得到了Si(111)的表面台阶以及原子分辨率的表面形貌图像,证明了我们所设计光偏转检测系统的高灵敏低噪声性能及原子力显微镜图像的原子分辨率。综上所述,通过本研究设计,提高了光偏转检测系统的灵敏度,降低了系统噪声,提高了原子力显微镜系统的分辨率,为精密测量仪器的自主研发开拓了新的途径,具有重要的理论研究意义及实际应用价值。