人机交互是研究用户与系统之间交互关系的学科。随着计算机技术的发展和新的交互需求的出现,目前传统的二维交互方式由于交互空间小,交互自由度低,交互方式匮乏等原因已经不能满足用户的需求,三维交互成为人机交互领域的研究热点。三维笔式交互借助纸笔隐喻降低用户学习成本以实现高效自然的人机交互,是一种新兴的三维交互方式。三维笔势交互是指用户在笔式交互过程中手持电子笔完成特定动作的交互方式,具有交互空间大、六自由度和握笔姿势多样的特性,而目前的笔势识别方案并未对上述特性做充分研究。因此,以三维大空间笔式交互平台为硬件基础,研究融合超声定位和惯性传感器等多通道信息的三维笔势的定义方式与识别方法,为三维笔式交互平台提供新的多通道交互功能与应用,具有重要的研究意义和应用价值。本文以三维笔式交互装置为硬件基础,使用Unity 3D软件搭建三维笔势交互场景及数据采集环境,以融合超声定位和IMU(Inertial Measurement Unit)的三维笔势识别问题为核心,重点研究了三维笔势定义方法和三维笔势识别方法,并进行了实验验证。主要研究内容如下:(1)融合多通道信息的三维笔势定义方法。根据三维笔势交互空间大、六自由度和握笔姿势多样的特性,分析并定义了三维笔势的四种属性,分别为轨迹形态属性、运动方向属性、笔身姿态属性和空间位置属性。为了充分描述三维笔势这四种属性的相关信息,需要融合多通道传感器数据,本文选择了超声定位数据、三轴加速度数据和笔身姿态数据。轨迹形态属性是所有三维笔势都具有的基本属性,具有放缩无关性、平移无关性和旋转无关性。运动方向属性方面,整合笔尖运动方向和笔身运动方向描述笔势运动方向。笔身姿态属性方面关注笔势过程中的笔身姿态变化程度。空间位置属性定义笔势动作发生的子空间区域,在三维交互环境下有重要参考价值。在此基础上,提出了一种以轨迹形态作为基本属性,以运动方向、笔身姿态和空间位置作为补充属性的三维笔势定义方法,并说明了描述各属性特征信息的数据通道选择。最后,使用此方法定义了三维笔势集,包含10种典型三维笔势。(2)融合超声定位和IMU三维笔势识别方法。本文提出的三维笔势识别方法按照优先级逐步识别三维笔势各属性信息,根据当前判别的笔势属性选择对应的数据通道和识别方法,确定笔势标签。该方法首先识别轨迹形态这一基本属性信息,使用归一化中心距离函数对超声轨迹序列进行编码,通过动态时间规整算法对编码序列进行匹配识别。其次,用笔尖定位轨迹和三轴加速度数据估算笔尖轨迹方向和笔身运动方向,识别笔尖和笔身的运动方向。然后,通过阈值筛选方法和笔身姿序列姿态角方差识别笔身的平动与转动。最后,通过子空间内各点到分界面中心的距离之和识别笔势动作发生的空间位置。本文的主要贡献与创新包括:(1)提出了一种融合多通道信息的三维笔势定义方法。基于超声定位坐标、三轴加速度数据和笔身姿态数据的多通道信息,提出了一种以轨迹形态作为基本属性,以运动方向、笔身姿态和空间位置作为补充属性的三维笔势定义方法。本文提出的三维笔势定义方法充分考虑了三维笔势具有的交互空间大、六自由度和握笔姿势多样的特性,因此可以更好地满足三维笔势交互需求。(2)提出了一种融合超声定位和IMU三维笔势识别方法。该方法按照优先级逐步判别三维笔势各属性信息,根据当前判别的笔势属性选择对应的数据通道,结合数据特点设计识别方法,确定笔势标签。本文提出的三维笔势识别方法融合多通道信息实现三维笔势识别,解决了传统方法无法识别具有多种属性信息的三维笔势的问题。