随着计算机性能的逐步提高和各领域对计算机使用的不断深入，计算机在现代社会中的影响迅速扩大，人与计算机的交互活动已经成为人们日常生活中的一个重要组成部分。手势分析由于其固有的自然、方便的人际交流特性，越来越受到广大研究人员的关注，成为下一代人机交互技术中的一大研究热点。本文主要针对基于视觉的手势分割、跟踪、识别等核心问题进行研究，做了如下工作：　　 在核跟踪的框架下，对通用的目标跟踪问题进行了研究。借助于高斯核函数，对尺度选择、目标更新提出了新的解决方案，使得目标跟踪算法对于手势这种非刚体的运动也能较好的进行跟踪，对于平移、尺度、旋转等变化有很好的适应能力。在标准测试视频上与传统的跟踪算法进行了比较，并在实时视频上进行了测试，验证了本跟踪算法的有效性。　　 基于局部二值模式特征（LBP），提出了一种分块局部纹理描述子，用来提取手势图像的纹理特征，进而通过特征向量的匹配，实现鲁棒的手势识别。在传统方法中，对整幅LBP滤波图像统计直方图，会丢失有效的图像空间结构信息，而分块的策略，则可以有效的将空间结构信息和局部纹理信息有机的结合起来，形成更加完备的图像特征表示。在标准数据集合和自采数据库上的实验结果表明此方法可大大提高手势识别的精度。　　 基于3D深度信息，对手势的分割、跟踪进行了研究。使用3D深度数据，可有效地去除背景、光照的影响。但鉴于3D照相机的精度限制，手部分割通常会受到前臂的影响，本文提出一种融合3D深度信息和圆形几何特征的方法，实现了准确的手和前臂分割，使得后续的手势识别更加简单。　　 设计实现了三个基于手势控制的人机交互原型系统，实现了基于视觉的手势交互。系统集成了我们提出的新方法，并且拥有简单易用的用户界面，给用户带来了全新的交互体验。