当前人机交互研究的重点是提供“以人为中心”的交互体验,遵循自然有效的交互原则。其中,多通道交互系统将人们的日常行为如语音、手势和眼神等引入到人机交互中,它允许用户通过各种不同的感知通道与计算机进行交互。相对于传统的界面,多通道交互系统具有高效性、潜在的自然性及以用户为中心的特点。目前,建立一个多通道交互系统仍具有很大的挑战性,如种类繁多的交互接口与复杂的上下文环境。由于一种场景下的交互方式不一定适用于其它场景,因此不同的上下文环境中需要采用不同的交互组合。多种输入通道在互相组合时容易产生歧义,为了提高交互系统操作的鲁棒性,系统设计者必须考虑每种交互方式所提供的互动形式以及交互方式之间互相组合时所允许范围。本文主要研究在不同场景下多通道交互方式之间的组合问题,帮助开发者实现快速的开发多通道交互系统。本文主要工作如下:(1)提出了一种基于有限状态机的交互组合生成方法。首先,介绍了基于有限状态机的多通道交互模型中的交互路径遍历原则及交互路径之间存在问题;其次,针对有限状态机中只能描述不同状态之间的迁移变化,无法描述每种交互方式之间的属性关系,定义了交互文本即定义了每一种交互方式的迁移状态、适合的工作场景和交互歧义等属性用于描述各个交互方式之间的属性关系;再次,结合交互路径遍历算法遍历状态机中所有从起始状态到终止状态的路径,从而找出所有交互方式的组合;最后,根据交互文本中不同交互方式的属性结合交互组合生成算法选择出适合场景的交互组合方式。该方法针对于复杂的上下文环境,在保证较高鲁棒性的前提下选出适合场景的交互组合方式。(2)设计了一种可以自动生成交互组合方式的交互组合生成器,并对多通道标记语言进行改进。首先,将交互文本的内容转换成邻接矩阵;其次,根据交互组合生成算法生成合适的多通道交互组合方式;最后,将结果保存在TXT文本中。通过对交互级别的多通道交互标记语言进行改进,记录特定场景下的交互方式,提高了多通道设计者开发多通道交互系统的效率。(3)实现了基于感知融合的手势交互设计。首先介绍了手势交互现存问题及智能手势定位传感器的系统架构;其次,介绍了传感器的相关软硬件设计;再次,介绍手势坐标的推算及数据优化算法;最后,介绍了如何将手势坐标系转换到摄像头坐标系中以及对摄像机中未知参数的标定,以指导摄像头对手势识别范围进行自适应的调节,并对实验结果进行分析。(4)完成了以问题框架工具集为案例研究对象的案例研究。首先,通过案例背景分析,根据多通道交互生成方法在问题框架工具集原有操作方式的基础上添加了一种自然的操作方式即手势操作;其次,基于多通道交互组合生成方法建立多通道交互模型且运用调查问卷的方式对两个不同版本的用户满意度进行评估;最后,通过实验分析表明:在保证较高鲁棒性的前提下,基于场景的多通道交互组合生成方法可以生成适合特定场景的交互组合方式。