随着多媒体技术和虚拟现实技术的发展,人机环境中信息的输出形式更加丰富,同时也使用户所要面对的交互对象和交互内容变得更加复杂,传统的交互方式无法达到和谐、自然与人性化的交互要求。在军事应用领域,计算机辅助标绘是是一个典型需求,亟需研究其他交互方式来提高标绘交互自然性。本文融合手势与语音识别技术,对书空手势指令进行定义和识别,构建语音交互任务词汇的状态转移矩阵,采用任务制导的方式整合不同通道的交互信息,提出了基于任务槽结构的多通道整合模型,对交互任务和操作进行分析和设计,最后对交互任务进行综合实验。本文的主要工作和创新点有:一、提出了一种基于方向链码的书空手势识别算法,实现空间手势识别。采用Leap Motion进行自定义的手势识别和匹配,通过自定义手势指令,对其自身有限的手势识别指令进行扩充。为了消除手势输入过程中的不稳定性而导致的噪声干扰,对手势轨迹进行分段处理,由分段的比重确定主要移动方向描述输入手势,根据手势的相同分段对输入手势与模板手势通过顺序匹配算法进行匹配。二、在语音命令识别的基础上,提出了基于命令转移概率的语音任务组织方法,辅助语音命令识别和组织。根据语法规则和语义对交互任务语音词汇进行分类,剔除语音交互任务中任务动作的生僻词。通过场景语义上下文分析,确定当前场景中的交互对象及交互任务,采用马尔可夫状态转移概率矩阵分析词汇间的连接关系,排除异常输入的关键词,使系统能正确地理解用户的语音交互意图。三、提出了基于对象属性的多通道任务槽结构整合模型。对交互任务进行分析和设计,确定不同交互任务的任务槽的所需信息。用户与传感器进行元操作的交互,通过分层语义提取,将交互数据转换为能够被系统识别的任务所需的属性信息。根据属性类型的不同,将交互信息再填充到任务槽中相应的模块,构成系统可识别的交互语义,从而识别整个交互任务并交由计算机执行任务,实现系统的交互功能。