增强现实是一种将真实世界信息和虚拟世界信息集成的新技术。近年来,相关研究将触觉感知技术融入到增强现实技术中,不仅可以实现真实和虚拟对象的融合,而且能够实现视觉和触觉的同步感知。随着新一代信息技术的日益发展,视触觉增强现实技术在手功能康复领域逐渐显现出它巨大的影响,其趣味性、交互性、经济性和便携性等优点越来越受到手功能障碍患者的青睐。在康复的过程中,患者不仅可以看到、触摸到存在于真实世界中的虚拟对象,而且患者的病肢可以伴随虚拟物体运动并接受来自虚拟物体的触觉反馈。该技术以多感官的角度缓解患者治疗时引发的枯燥感,充分刺激患者的触觉感知,从而达到一种对上肢进行康复训练的目的、增强康复训练的效果。本课题来源于国家自然科学基金,利用基于Marker-SLAM的视触觉增强现实技术开发了一种手功能康复系统,本文主要内容如下:本文提出了一种在虚拟环境中感知三维物体轮廓和表面纹理的触觉再现方法。采用基于领域监视的混合碰撞检测和响应算法来实现虚拟物体的触觉交互,为了显示物体表面的属性,提出了一种基于图像数据的纹理力模型,首先利用改进的Pentland明暗恢复算法来构建高度图,然后建立切线和法线方向的约束力模型。接着使用改进的“凹凸贴图”技术将纹理图片映射到三维虚拟物体表面,最后通过触觉装置将纹理力施加到操作者上,实现对三维虚拟物体表面纹理、轮廓的感知。实验结果表明,该算法有效的从图像中生成触觉纹理信息,提高了触觉感知的准确性和实时性。其次,本文提出了一种基于Marker-SLAM的视触觉增强现实交互算法。基于MarkerSLAM跟踪注册算法搭建增强现实环境,有效解决了相机无法移动、虚拟物体注册稳定性差、虚拟模型不能与其真实维度匹配的问题。接着为了将触觉感知技术加入到增强现实环境中,提出了一种基于无跟踪器的触控笔尖端姿态优化算法,最终完成基于MarkerSLAM的视触觉增强现实交互算法。该方法精准地校准了触觉空间坐标系和世界坐标系,依次实现触觉空间坐标系到世界坐标系装换;世界坐标系到相机坐标系的装换;相机坐标系到图像坐标系的转换,最终完成视触觉空间的融合。实验结果表明该方法具有较高的高保真性和稳定性。最后,本文开发设计了一种基于Marker-SLAM的视触觉增强现实手部康复系统。该系统主要包括两阶段康复训练:感觉脱敏训练、感觉再训练。脱敏训练采用不同的接触方法来继续刺激敏感区,提高受损神经结构的兴奋,促进新的回路形成。而感觉再训练有效的锻炼了手部对物体拿捏和腕关节平移和旋转能力。最后通过统计学方法和问卷调查对实验数据进行分析,验证了系统的可行性、稳定性和有效性。