随着现代计算机技术的发展，人机交互方式经历了命令行界面、图形用户界面并逐渐向自然用户界面转变。自然用户界面是一种自然的与计算机进行交互的方式，它是一系列技术的合集，包括:语音识别、人脸识别、手势识别等。其中手势是一种简单明了、易学易用的人机交互手段，基于视觉的手势识别技术将是推进交互手段变革的必不可少的核心技术。随着Kinect的推出，越来越多的研究者们开始关注和重视起基于深度图像的手势识别领域，并且已经获得了一些研究成果，这些成果逐渐应用在体感游戏或智能家居中，进入了普通百姓的生活。　　本文对手势分割、指尖检测、手势识别、履带机器人运动控制原理等模块进行研究，分析了现有的各种方法，对其进行改进，最后使用模板匹配和隐马尔科夫模型分别实现了静态和动态手势识别，并将其结合，应用到履带机器人运动控制上。　　首先，描述了Kinect深度图像成像技术，然后讨论了利用深度图像进行手势分割的几种常见方法，提出将大津算法引入到深度图像的手势分割中，实验表明本方法能够更加鲁棒快速地进行手势分割，具有一定的推广应用价值。　　其次，在指尖检测部分，本文利用手部轮廓与掌心距离的特征进行指尖判定，能够有效检测出不同数目的指尖;静态手势识别部分，本文选取了五个手部表观特征，并计算出五个特征参数，通过模板匹配的思想进行手势识别，本系统可以快速识别出十种不同的静态手势;动态手势识别部分，本文通过提取手势的位置、方向和速度特征，优化动态手势检测条件，然后利用隐马尔科夫模型实现了动态手势识别。　　最后，分析履带机器人的机械结构和运动控制原理，将手型手势与肢体手势相结合，实现了对履带机器人的控制，取得了较好的应用效果，也为后续研究开发打下了基础。