手势是人类日常生活中人与人之间最自然的一种交互方式之一,也是聋哑人与外界交流的最重要方式。手势识别技术的研究,是探索符合人际交流习惯的人机交互技术研究领域的重点和热点之一,也是研究聋哑人手语动作识别的基础。手势识别技术的输入方法主要有:基于数据手套的手势识别、基于视觉的手势识别和基于人体动作肌电信号(SEMG)的手势识别。基于视觉的手势识别方法简便易行,设备成本低廉,非接触式的手势动作采集方式使交互的自然性和舒适性得到较大改善。但由于视觉的不确定性,使得它具有依赖于摄像机观测的视角,对背景、环境变换的适应性差等缺点。基于肌电信号的手势识别不受外界环境背景变化的影响,计算量较小,具有更好的实时性。但由于肌群结构的复杂性、肌电信号的个体差异、电极位置等影响,增加了其分类难度。依据视觉和肌电信号(SEMG)两种输入方式各自不同的特点,本文将两种输入方式结合起来,优势互补,从多传感器融合的角度,寻求提高多类手势动作正确识别率的方法。论文的主要研究内容、研究成果和创新点有:1.提出了采用SEMG的活动段检测与视频序列的帧提取相结合的手势分割方法,即用SEMG活动段提取的结果指导视频手势序列的分割,提取最为有效的手势帧,以用于手势分割。2.将形状上下文描述子运用到手势轮廓建模中,最大程度的精确描述各手势轮廓信息。针对形状上下文描述子可能对轮廓噪声点存在敏感性的问题,提出了一种距离直方图方法求取自适应模板半径的方法,提高了算法的抗噪声干扰能力。3.分别将串行特征融合与D-S证据理论决策融合方法运用到两类输入方式的融合识别中。针对不同传感器输入方式对不同手势动作的分类效果有所不同,对D-S证据理论进行了改进,提出了基于后验概率的加权D-S证据理论的决策融合方法,建立了基于视觉与肌电的手势动作融合识别框架。4.构建了一个基于视频与肌电SEMG的手势动作信号采集、识别演示系统。测试结果表明,该系统能完成手势动作视频与SEMG信号的采集存储、模板建立、手势识别等功能。