基于手势接口的人机交互方式可以降低交互的复杂度,它作为一种自然和直观的交互方式被广泛应用于各种使用场景。相较于其他输入模式,手势有助于思维外化,实现用户与设备之间更加简单、高效的交互。手势接口的本质是让计算设备理解手势所表达的意义。根据采集设备的类型不同,手势识别技术可以分为基于环境传感器的识别技术和基于可穿戴传感器的识别技术。尽管基于环境传感器的识别技术可以在不接触人体的情况下检测手势,但其在覆盖范围、移动性、隐私保护和成本方面还存在诸多限制。而传统的基于生理信号的可穿戴传感器,如肌电传感器,则需要电极直接与肌肉接触,这使得该技术并不适合对运动进行长期监测。同时,传感器的佩戴方式和位置会对识别效果产生较大的影响,并不适用于识别较快的手势和动作。由于体积小、精度高和成本低等优点,当前越来越多的研究人员选择使用惯性测量单元（运动传感器）来进行运动识别。基于穿戴运动传感器进行手势识别面临的主要问题是,用户执行的手势具有多样性,即便执行相同的手势其运动参数及时空依赖性也有所差异。然而,现有的方法只关注手上单个点的特征,而忽略了手部骨骼间内在的时空依赖性。因此,基于多运动传感器进行的手势表征面临两个关键挑战:运动表示和手部运动建模。为此本文设计了一个基于时空特征的手势识别方法,它可以有效地描述多个骨骼之间时空关系,并实现运动轨迹和手势的实时检测与追踪。同时,该方法还结合了李群的流形运动表示方法来模拟手部多个独立运动链的运动过程。本文还开发了基于多运动传感器的运动感知系统,实时采集手部骨骼的运动信息。通过对9名志愿者收集的数据集进行实验分析,结果表明,该方法在整体识别精度、对用户的依赖性、稳定性、实时性等方面明显优于目前先进的方法。最后,为了验证识别框架在人机交互领域的实施潜力,本文还实现了多个场景下的应用实例。