随着社会的进步和科技的发展,机器人的种类日益增多,技术水平也在不断的提高,尤为明显的是服务类机器人越来越多的出现在人们的日常生活中。本文的研究内容是以清华大学“国家自然科学基金：基于稀疏表达的视觉目标跟踪技术研究”为依托展开的,本文的研究内容是完成一套基于视觉传感器的服务机器人桌面清理系统的设计。论文的研究主要包括以下几方面：首先,阐述服务型机器人出现的背景和意义,描述其在国外和国内的发展情况,并对不同种类的服务机器人尤其是清理服务机器人进行简要描述。其次,对组成系统的各部分设施进行详细的介绍。其中,Kinect为系统中的视觉传感器。本文首先对其进行标定,以获得场景内的点在机械臂坐标系下的坐标；之后通过背景相减法提取目标轮廓；然后通过帧差法消除物体运动过程中的影响以及放置物体时人手的干扰,从而得到目标的抓取点信息。再次,以目标物的抓取点作为机械臂路径的目标点对机械臂进行轨迹优化。本文采用的算法是基于状态空间的RRT(Rapidly-exploring Random Tree)法,在末端执行器的自由空间构建RRT树,并对RRT的每一步扩张运用改进的梯度投影法——最似梯度法进行逆运动学轨迹优化,获得相应的关节运动。最后,通过反复的实验来验证本文研究内容的有效性,实验结果表明本文的服务机器人桌面清理系统可以较好的完成桌面清理任务。