手势识别技术是当今人机交互领域的一个研究热点，它通过理解人们的手势而做出相应的反应，摆脱了传统交互方式如鼠标、键盘的束缚，给人们提供了一种自然高效的交互方式。　　 以往的手势交互系统大多采用单一的计算机视觉技术或者加速度传感器技术进行手势识别。基于视觉的方法可以实时精确获取三维位置，交互真实感强，但是其对复杂环境干扰比较敏感，而且采样率较低，对于快速手势，会因为采样不足而无法区分轨迹相近的手势。基于加速度传感器的方法采样率高，识别精度高，但是不能准确获取运动目标的空间位置，使得交互缺乏真实体感。　　 为了克服单一技术给手势交互带来的问题，实现更为智能的人机交互系统，本文提出了基于计算机视觉和加速度传感器双通道融合的手势识别技术。采用双目红外立体视觉技术捕捉手柄运动的三维轨迹，同时运用加速度传感器采集其运动的三维加速度信息。首先采用基于阈值的手势同步分割技术进行手势分割，得到待识别手势的两种数据源，三维轨迹信息和三维加速度信息。三维手势在二维主平面的投影与在该面上的随机线段的交点个数作为视觉随机特征来表述手势轨迹，而三维加速度信息，我们采用DCT低频系数作为特征。其次，我们提出了基于惩罚函数的极大似然估计的隐藏特征空间提取算法来实现特征融合，该特征空间包含了随机视觉特征和DCT低频系数特征，更好地描述了待识别手势。再次，我们运用迭代算法求解隐藏特征，迭代算法包含两步：(1)运用最小二乘法更新两种特征的线性变换矩阵；(2)通过解Sylvester方程得到隐藏特征。最后，结合K-近邻和SVM分类方法对手势进行分类识别。我们在数字手势集“0”到“9”进行验证，通过比较，我们的隐藏特征比其他的特征具有更高的识别率，证明了我们算法的有效性。　　 本手势识别技术有较高的应用前景，如手语识别、军事应用、虚拟游戏、机器人产业、信息家电等产业。