随着科技的进步，智能机器人迅速发展并进入社会实际生活中充当不同的角色，如家庭服务行业中扮演家务劳动者，医疗行业中充当外科手术协作者等。因此，近年来自然场景下的机器人视觉伺服成为研究热点，但是对智能机器人来说对所处场景的感知和操作对象的表征是两方面较大的挑战，尤其是当操作对象为非刚体时表征更为复杂。为了解决机器人对自然场景感知比较难和非刚体表征的不易这两方面问题，本文提出了一种基于随机树的自然场景下的机器人非刚体视觉伺服算法，实现自然场景下的机器人非刚体视觉伺服系统。　　针对Eye-in-hand结构的视觉系统，研究基于图像的视觉伺服控制，即将图像特征误差用于伺服控制，完成机械手末端对自然场景中目标物体的定位。在伺服过程中，首先，对目标图像训练，训练过程在图像预处理的基础上包括特征点的提取、视点集的构建和随机树的建立，将建立好的的随机树作为分类器：其次，利用分类器在自然场景下检测到该物体；最后，根据图像误差设计视觉控制器以驱动机器人手爪运动，从而完成机器人视觉定位。　　在实验研究部分，采用VS2010、OpenCV2．3．1编写控制软件，并以MOTOMAN SV3XL型的六自由度工业机器人为对象，采用数字摄像机、图像采集卡与PC机建立了机器人无标定视觉伺服实验平台，完成了多组自然场景下的机器人刚体和非刚体的视觉定位实验。通过实验验证了该方法可以有效实现遮挡、光照变化等复杂自然场景下机器人对刚体和非刚体的视觉伺服，同时，定位误差可以达到0．05mm以内，定位精度高。