随着自然人机交互技术的发展,人与计算机之间的交互逐渐转变为以用户为中心。基于视觉的自然人机交互技术,由于其自由度高、成本低、通用性强等特点,更适合于普及应用。本文在视觉手势识别、肢体动作识别和虚拟交互应用三个方面展开工作,具体为:(1)视觉手势识别技术研究。基于肤色模型,提出一种多序列背景模型,并结合肤色块跟踪和几何形状估计提取手势图像,通过分析手势几何特征计算特征参数,采用决策树分类方法对手势几何特征属性进行归纳判定,识别手势。实验结果表明,该识别算法简单有效,计算量小,识别反馈时间小于0.2s,在常规背景并且室内光照良好的环境下,对预定义的6种自然手势类型识别准确率达到94%以上,能够较好地完成实时多媒体交互应用。(2)肢体动作识别技术研究。本文提出了姿势序列有限状态机方法,首先,以用户为中心建立肢体节点坐标系,将描述用户动作的肢体节点数据从设备空间变换到用户空间,并建立三维网格划分模型,以尽可能消除用户个体差异;其次,在肢体节点坐标系定义肢体节点特征向量,借助关节点空间运动矢量、关节点运动时间间隔、关节点空间距离描述肢体动作特征,对预定义肢体动作序列进行采样分析;最后,采用关节运动正则表达式表示肢体动作轨迹,构造姿势序列有限状态机,实现对预定义动作的在线识别。实验结果表明,该方法具有良好的扩展性和通用性,对预定义的17种肢体动作识别准确率超过94%,识别反馈时间小于0.1s,能够满足自然人机交互应用需求。(3)自然人机交互应用实现。基于关键的视觉手势和肢体动作识别技术,本文设计并实现了三款自然人机交互应用:智慧旅游虚拟互动体验、智能管家机器人SHRobot和虚拟装配交互应用。同时,提出了具有良好通用性和适应性的自然人机交互系统框架,通过自然人机交互模式为互动应用提供直接、人性化的交互功能,在多方位、多角度上与特定应用场景进行实时虚拟交互,增加交互体验感和沉浸感。