随着虚拟现实技术引起越来越多的关注,以及计算机图形学与计算机软硬件快速的发展,2016年被定义为VR/AR元年,广大虚拟现实技术的学者和计算机软硬件厂商都投入到了虚拟现实技术的浪潮之中,虚拟现实技术得到了空前的发展,被广泛应用于场馆仿真、地产漫游、网上展馆、网上看房等诸多方面。本课题以虚拟现实的方式表现沙画训练为应用背景,开发设计了沙画虚拟系统。通过大量阅读和深入分析关于三维虚拟场景构建技术和触摸屏体感交互控制技术的相关文献,以及对技术的深入研究与创新,为沙画虚拟系统开发过程中遇到的困难提出了完整、有效的解决方案。本课题主要工作如下:(1)设计了沙画训练的室内环境和沙化训练需要的道具,开发了沙画训练所需的画板,通过3ds Max建模软件完成了室内环境和道具的三维模型构建;将构建完成的三维沙画虚拟场景导入Unity 3d三维引擎中,进行纹理、碰撞检测等,让场景更逼真;由精简网格代替复杂模型,实现了三维模型的碰撞检测优化。通过VS 2013平台,C#语言,WPF体系开发了沙画训练所需的画板,实现了沙画绘画所需的各个功能。(2)针对多点触控间接指令问题进行了深入研究,在对国内外相关文献进行深入分析研究的基础上,提出了基于多点触控的沙画手势识别系统,该识别系统由时间、空间、形状信息控制。通过手势图形建模、聚类算法和基准方法HBF49以及图嵌入方法和SVM分类实现该识别系统。实验证明,识别系统识别的准确率高达94.75%,此研究对为后期软件的体感交互开发提供了重要的理论基础。(3)以PQ Labs触摸屏为交互工具,完成了多点触控的沙画手势与虚拟沙画画板的交互工作,定义了10种沙画训练中常用的沙画手势。通过在VS2013平台上对PQ Labs SDK的二次开发,通过追踪手势的时间、空间、形状信息,实现了虚拟沙画画板对自定义的沙画手势的识别功能,实现了系统的体感交互;软件开发完成后,进行了软件测试和用户体验工作。