人类知识分为四类,描述性知识、规范性知识、实践性知识与形式性知识。实践性知识和规范性知识只有进行实践后才能理解掌握,例如写字、绘画、辨别方向及判断重量等等。由于鼠标、键盘等传统交互方式与现实生活中的自然交互存在较大差异,应用在教育游戏中不利于实践性知识的掌握,因此非传统交互方式在教育游戏中的应用逐渐受到更多学者的关注。本文的主要研究工作包括4个方面:1)提出了一种基于移动交互的答案智能填充方法。为减少周边环境对图像数据的影响,先对获取到的图像进行滤波去噪及二值化等预处理操作;为了定位到目标括号的位置,利用模板匹配法分别对左右括号进行定位和识别;接着采用括号成对性筛选实现左右括号的配对,并对括号排序;最后根据二维码的大小、角度,结合二维码中的数据,生成一个大小、角度与原题匹配的答案填入括号中,实现答案与原有内容的无缝融合,即增强现实效果。2)提出了一种基于学习过程的SUP教育游戏框架,并依据该框架开发了一款基于移动交互和GPS服务的教育游戏。该游戏框架的主要目的是,通过将学生置身于真实问题环境中,来使学生加深对知识的应用场景的了解。游戏可以映射出学生的周边环境,增强学生在真实场景中解决实际问题的能力,并进一步验证了SUP框架对学生学习的正向效果。3)提出了一种基于笔式交互的书写评判方法。该方法将儿童的手写笔迹通过数学形态学运算进行预处理,使用卷积神经网络进行识别后,对笔迹进行细线化处理,并使用改进的Hilditch算法进行骨架的提取;接着,获取手写体数字的角点,直线、弧线、笔迹像素比例与位置等特征,并将这些特征作为比较元素,使用模糊综合评价法对手写数字的书写质量进行评判并实时反馈给用户。4)开发了一款基于力觉交互方式的教育游戏。该游戏使用HTC Vive VR头盔实现视觉VR体验,使用Geomagic Touch力反馈设备实现触觉体验,由该设备将力觉信息传递给用户,并结合包围盒技术进行相交检测,加强人机交互的感官体验,让用户不知不觉地对力度、物体重量与物体材质有直观的感受以达到提升学习兴趣的目的。