根据原子间相互力的作用通过原子力显微镜(Atomic Force Microscope,简称AFM)可以获得纳米样品的三维形貌,目前商用AFM系统通常采用传统PI控制算法实现对样品扫描成像。但是AFM系统操作复杂以及压电陶瓷非线性特性,使传统PI控制器很难获得清晰完整的样品图像,对控制算法进行改进优化是实现可靠的高精度AFM扫描成像的关键技术之一。本文针对PI控制器测量精度不足的缺点,通过自制AFM系统建立了AFM系统仿真平台,研究了控制参数对AFM系统的影响,并整定了系统经验控制参数。根据压电陶瓷位移平台的扫描运动具有重复性,符合迭代学习控制算法的要求,从而设计了开环PID型迭代学习控制算法以及闭环PID型迭代学习控制算法,并通过仿真实验研究了两种控制算法对期望信号的跟踪性能。针对非线性复杂AFM系统,常规PID型迭代学习算法自适应能力明显不足的缺点,通过将模糊自适应控制与闭环PID型迭代学习控制与传统PI控制相结合,设计了模糊自适应闭环迭代学习PI控制器(Fuzzy Adaptive Closed-loop Iterative Learning PI Controller,简称FAIT-PI控制器),仿真结果表明,通过FAIT-PI控制器拟合获得的控制参数对期望信号扫描跟踪精度更高,实验结果表明,FAIT-PI控制器可以改善光栅样品的成像质量,进而提高纳米测量与操纵的精度。