接受良好的教育可以使我们懂得自己应该肩负的社会责任和家庭责任,让国民的整体素质不断提高。因此,提高教学水平对公民的影响深远。除了提高教师素质,完善教学方式也是提高教学水平的一种有效方法,一种新颖的授课方式,不仅可以提高教师授课的积极性,同时还可以提高学生的主观能动性,提升授课的效率,使得整体的教学效果得到很大的改善。随着计算机和各种交互设备的普及和深入,智能化、人性化的自然人机交互方式更容易人们接受。多模态的人机交互方式结合了多种模式的信息交互,使各模式发挥自己的优势,综合利用人的多种行为方式来完成信息的采集,从而准确无误的表达用户的意图,更好的完成人与计算机的交互过程。多模态交互理论应用在教学方面,把新颖的授课方式带入传统课堂,使学生学习知识的趣味性和主观能动性不断提高。本系统主要研究并设计了一种基于多模态交互的授课系统,利用手势交互、语音交互、手写交互等多通道交互模式,以一种全新的授课方式来完成授课的全过程。系统使用Kinect体感检测器采集人体的骨骼节点数据和语音数据,将人体的动作姿势、手势、语音与鼠标相结合作为系统的输入方式。通过Kinect获得的骨骼结点数据主要应用在对界面各元素操作的手势识别和对手写板绘制流程图两个方面。手势识别过程通过动态手势识别方法完成,该识别方法主要利用骨骼节点相对位置与设定阈值范围来进行判断,包括单手、双手多种手势的识别。当识别的手势与系统预定义手势匹配时,系统就会完成相应的操作。手写板主要是利用右手骨骼节点模拟画笔来完成绘制的轨迹,在绘制过程中需要结合鼠标左键按下这个手势来共同完成绘制过程。同时采集到的语音信息在识别后作为语法命令,然后与系统中预定义的语法命令进行匹配,当置信值大于某一阈值时命令匹配成功,系统执行该语法命令对应的操作。本系统利用手势交互、语音交互、手写交互等多模态交互完成了教师授课过程,提供一种了新颖的授课方式,让教师和学生能够以一种独特的方式来高效率地完成授予知识和学习知识的这一过程。