在虚拟现实应用中,人机交互作为一项核心技术,肩负着带给用户更加真实的体验感和沉浸感的重任。对于虚拟沙画的应用研究,吸引了诸多学者的关注,是一门需要不断创新研究的课题。本课题是以虚拟现实技术为理论依据,利用Leap Motion和触摸屏的科技辅助,设计实现了虚拟沙画系统。通过对手势的识别来进行三维空间中的虚拟沙画绘制,以及利用触摸屏进行二维虚拟沙画绘制,使用户在仿真类应用上获得更加真实的体验。本文的主要工作如下:(1)改进了虚拟沙画的渲染效果。首先针对沙画绘制原理及沙画的各种绘制手法进行了分析研究,区分在绘制时运用不同的绘制手法所产生的不同视觉效果;其次研究比较了在粒子系统下的沙粒模拟效果,并分析研究了在滤波处理下的渲染效果;最后在原始的沙画渲染基础上,本课题对扬沙渲染进行了优化,主要是对沙粒撒落画板的区域进行重新划分,并且使区域内的像素点服从高斯分布,使得渲染效果和真实的沙画更接近。(2)提高了基于Leap Motion手势识别的实时性。在基于Leap Motion手势识别的虚拟沙画绘制过程中,针对手势识别延迟的问题,本课题引入了新的索引向量。基于特征向量的不变性原理,引入新的索引向量对手势特征提取做了调整。实验结果表明:新的索引向量的引入,手势在实时预测中具有更准确的空间坐标,更高的识别率,较高的实时帧速保证了整个操作过程的流畅性。(3)针对目前虚拟沙画应用研究的单一性,提出了一种将基于体感设备Leap Motion的手势识别与PQ Labs G4S触摸屏结合的虚拟沙画渲染方法,从而实现虚拟沙画绘制系统。