基于视觉的手势识别,是让计算机能够像人那样看见并理解人的手势;它在人机交互、虚拟现实、手语理解、远程控制等领域中有着广泛而重要的应用.以智能轮椅作为研究平台,该文对视觉手势识别在人机交互中的应用做了深入的研究,包括手的特征选取、手势跟踪、静态手势识别、动态手势理解等方面的内容.该文的主要工作和贡献有:①提出了一种改进的粒子滤波算法-结合均值漂移的粒子滤波MSEPF.通过在粒子滤波中加入均值漂移步骤,MSEPF实现了更为有效的采样策略,提高了粒子集中的有效粒子数,在一定程度上避免了传统粒子滤波的采样恶化和采样枯竭问题;同时,MSEPF不需要大量粒子来维持后验概率的多峰分布,节约了所需粒子数,提高了计算效率.②使用MSEPF实现了智能轮椅人机交互场景下的实时手势跟踪.得益于粒子漂移,MSEPF使用了简单但有效的弱动态模型.我们首先选用肤色对手建模,并且考虑到动态场景中光照变化会带来肤色改变,在跟踪过程中自适应更新肤色模型.为了克服背景中存在的肤色干扰,我们提出了融合肤色和运动信息的观测模型.MSEPF中的粒子漂移也是基于肤色和运动信息进行.③基于方向直方图思想,提出使用手轮廓方向直方图来识别静态手势.在借助手势跟踪算法定位图像中手的位置后,我们根据肤色分割出手的轮廓;然后计算手轮廓方向直方图,通过与事先训练好的模型匹配来识别手势.④通过在时序模板中引入时空轨迹,提出了时序模板轨迹概念,将从运动序列中跟踪得到的手势运动轨迹压缩到单幅图像中.我们设计了一种两层分类器,通过时序模板轨迹的形状和运动方向分析,实现对预先定义的七种动态手势的识别.实验表明,时序模板轨迹优于一般的时序模板,对动态手势具有更好的可分性;且实现简单,不需要复杂的训练.⑤在上述研究的基础上,设计并实现了智能轮椅基于视觉手势识别的外部控制接口,作为轮椅多模态感知接口的一个重要组成部分.该实时手势控制接口在实际中工作良好.