长期以来,国家对教育事业的发展都十分重视,新课程改革也越来越注重对学生自主创新能力和动手能力的培养。在国内中学实验教学中,学生动手实验经常受到区域性教育资源分布不均衡,一些危险实验、观察效果不明显的实验和材料昂贵的实验难以展开,和教师教学理念差异的影响。因此,在实际的实验教学中常采用讲授与视频教学相结合回合教学方式或使用虚拟仿真实验教学的方式展开。该方式,首先无法保证学生对实验过程的重点、实验的机理和现象的深入了解;其次缺乏体验感和沉浸感,学生很难通过探索实验体验到其中的乐趣,同时,由于缺乏实际操作感,也不利于学生动手能力的培养。2018年,国家重点研发计划项目——“多模态自然交互的虚实融合开放式实验教学环境”立项成功,该项目的主要研究问题是面向中学主干课程实验教学的多种交互模型的融合共存、多模态交互意图的精确理解等科学问题,旨在推动中学智能实验教学的发展,提供复杂实验教学环境中虚实融合的实时仿真、多通道感知(视、听、触、嗅)同步呈现等教学实验效果。并且,预期实现我国优质教学资源远程教育的共建共享,同时通过虚实融合的更具沉浸感的实验来更好地阐释和展现科学原理,并突破原有的实验教学模式,开发新型实验,进而解决现有中学实验课程中存在的自主性差、探究性弱、缺乏沉浸感与体验感、精准性低、实验成本高等系列难题。因此,本文以该项目为基础,以中学实验教学为应用背景,以解决现阶段中学实验教学中出现的痛点问题和难点问题,提升实验教学体验为目的,开展课题研究,本文的主要创新点如下:(1)设计并制作了面向虚实融合实验的智能交互设备。针对虚拟仿真实验缺乏真实的操作感和良好沉浸感的问题,本文仿照实际实验器材设计并制作了用于虚实融合实验的智能交互设备,其一是用于中学生物实验的导航式显微镜,其二是一组用于中学化学实验的烧杯套件。该设备不仅具有传统实验设备的操作功能,还突破了现有虚拟实验仪器交互功能弱、与学生真实实验操作过程不一致的局限。在设计上,我们利用微型传感器搜集用户的操作数据,将硬件设备与虚拟场景相融合,并通过交互算法使用户操作得到及时有效的反馈,进而使用户感觉到犹如使用实际实验器材一样的操作体验。实验表明,这种设计不仅加深了用户对实验操作步骤和要点的了解,而且在提升用户体验和教学效果上也有明显帮助。(2)提出基于深度图像和RGB图像特征融合的静态手势识别算法。基于卷积神经网络的小样本的手势识别模型训练中,对于深度手势图像,其内部纹理不清晰,但是很容易屏蔽周围环境的影响。对于RGB手势图像,内部纹理清晰,但是容易受到复杂背景的影响。本文基于caffenet网络框架构建了将两种手势图像特征相融合的双通道卷积神经网络。不同于单一通道卷积网络的静态手势识别框架,该双通道卷积神经网络可以通过不同通道,同时提取同种手势的不同格式的图像特征。并将部分特征降维处理并映射到融合层进行融合,最后,把融合层特征用于分类器训练。实验分析得到,该静态手势识别模型较单通道手势识别模型和一些典型的识别模型,拥有更高的识别精度。(3)提出基于多通道信息融合策略的用户意图理解算法。针对目前单一模态难以充分表达用户意图,多模态信息不易管理和利用的问题,提出一种用于用户意图理解的多通道信息融合策略和基于用户意图理解的导航式交互算法。首先,调研并分析现阶段中学实验中由于单模态交互带来的实验缺乏真实感和体验感的问题,然后结合不同模态信息获取的办法,利用实物交互套件,对多模态异源数据进行收集,接着设计多通道信息融合策略,通过不同通道信息的整合与管理,完成对用户意图的理解,根据用户意图完成智能的导航式交互,最终形成一套从算法到硬件设备都可行的智能中学实验工具并用于教学研究。(4)构建了面向虚实融合实验的新型交互模式。针对现阶段中学教学实验中存在的采用混合教学实验和采用虚拟实验教学带来的缺乏体验、体验感差和操作过程单一乏味的问题,同时,也为了使虚实融合技术更好的融入中学实验教学中,激发学生自主探索学习的精神。本文提出了一种新颖的面向虚实融合实验的“闯关式”实验教学模式,该模式突破了传统实验教学模式和虚拟实验教学的实验方式,主张自主探索式的实验学习方式。首先,本文给出了该教学模式的整体设计原则,然后,从数据结构和闯关流程上给出“闯关式”教学的关卡设计方法。最后,本文以钠水反应化学实验为教学案例,在智能实验设备和多通道信息整合算法的基础上,开发了闯关式实验教学系统。实验结果表明,该模式可以很好的激发学生的实验兴趣,帮助学生进行探究性学习,从而加深学生对实验操作和要点的理解。