目前手势识别研究中,大部分都是基于手指尖点和手心点的检测研究,如果能将指尖点、手心点、手腕点及手臂点同时检测出来,将它们组合起来设计手势,不仅能使手势的种类多样化,而且应用范围也很广。本文采用Kinect深度相机提供的深度图和彩色图,将粗糙手区域分割出来,利用贝叶斯肤色模型在粗糙的手区域中提取出精确的手区域。然后,定义了一个正方形作为像素分类器,通过像素分类器将手指和指尖区域分割出来,在手指和指尖区域进行椭圆拟合,椭圆长轴有两个端点,选取距离手心点最远的那个端点作为指尖点。最后,在从精确的手区域中提取轮廓,在轮廓上提取凸包,将手腕的一个侧点检测出来,以此侧点为一个顶点,选轮廓上的任意点为另一顶点,连接两点的直线段作为对角线,做平行于坐标轴的矩形,选取最小内切矩形(对角线最短)的中心点作为手腕点,计算轮廓的内切圆,在所有的内切圆中选择距离手心点和手腕点最远的内切圆的圆心作为手臂点。这也是本文的两个主要贡献。在应用方面,本文将检测到的指尖点及Open NI跟踪的手心点,设计了食指指向手势,并将其应用到虚拟漫游系统中,取代了传统的交互工具(鼠标键盘等)与虚拟场景的交互,通过手势控制虚拟场景中的第一视角人称的走向。将手心点、手腕点及手臂点组合起来设计了手臂抬起和放下手势,并将其与增强现实相结合,使用户如同身临奇境般与虚拟人物交互,又根据这三点设计了手腕旋转手势,应用到增强现实中模拟酒瓶开启手势等。