人机交互技术是计算机科学的重要研究领域,体感交互是近年来人机交互领域研究和应用的热点。本文选取基于深度信息的手势识别作为研究对象,并把手势识别应用于三维虚拟图书馆的场景中,驱动场景信息实现体感交互。传统手势识别的方法主要有基于数据手套等设备和基于视觉两种方法,在应用中都存在一定的局限性。基于数据手套的识别系统有较好的交互效果,但需要佩戴特殊的传感手套,这种设备使得交互方式不自然,降低用户体验。传统的基于视觉的手势识别方法,容易受到使用者肤色和背景光照等因素的影响,导致识别率不高。本文提出基于深度信息特征及空间测量最短路径的手指识别算法,对检测和识别到的手指,设置粒子滤波追踪手指的运动,基于手势中手指的个数及名称确定相应的手势。通过实验验证手指识别算法和手势识别方法的有效性。CADAL数字图书馆是一个优秀的在线图书馆,作为门户网站,提供书籍借阅、阅读、个性化推荐等服务,为知识的传播、资源的保护做出巨大贡献。随着虚拟现实和人机交互的发展,三维虚拟场景的应用越来越广。本文在第五章中介绍了基于数字图书馆数字化的资源,三维虚拟图书馆构建的实现,给出了虚拟图书馆的总体架构设计及功能模块的设计；按照系统的整体架构给出了场景中书籍检索、碰撞检测、多人交互技术的解决方案并实现场景中的各功能模块；最后把手势识别应用到场景中实现场景信息的驱动和体感交互。