人机交互界面的研究旨在为用户提供一种高效的人机通信方式,近年来随着计算机软、硬件的发展以及因特网的异军突起,传统的图形用户界面面临着新的挑战,而多模态人机交互界面就随之产生了。多模态用户界面允许用户使用多个交互通道以并行、非精确的方式与计算机系统进行交互,从而提高人机交互的自然性和高效性。作为人机交互的一种新范式,多模态人机交互界面与传统的图形用户界面相比,能将互补的模态进行集成来获取增强的信息,模态之间可以相互补充,克服彼此的缺陷,或者是针对不同的应用采取不同的交互方式,可以大大提高系统的鲁棒性和灵活性。 多模态人机交互界面旨在充分利用一个以上的感觉和动作通道来捕捉用户的意向,提高人机交互的自然性和高效性,其核心问题就是模态集成的问题,通过将多种输入模态,如语音、手势、笔划、…集成到一起,具有更强大的表达能力、自然性、灵活性和便携性,使人机交互方式向人与人交互方式靠拢。 论文主要阐述了多模态用户界面研究中所涉及到的关键性问题—多种模态的集成问题,介绍了目前主要的集成方法,针对每种方法的集成原理和集成算法进行了研究,其中统计集成方法可以充分利用单模态识别器输出的后验概率信息,当语法结构较为简单时它是一种很有效的方法。而句法分析方法优点是可以描述复杂的交互信息。论文根据这两种方法的集成机理,结合成熟的语音与手势识别方法搭建实验平台,收集有效训练数据进行了实验研究,得出了实验结果,并对能够结合这两种方法特点的基于有限状态机的集成方法进行了初步的实现。