生物识别技术是指通过计算机利用人体所固有的生理特征(指纹、虹膜、脸部、血管等)来进行个人身份鉴定的技术。而增强现实是一种利用计算机产生的附加信息对使用者观察到的真实场景进行增强或扩展的一门综合性技术,是近年来的一个研究热点,将两种技术有机结合是许多工业级研究的热门。将生物识别技术和增强现实技术两种技术有效地融合并应用于设备终端,以基于计算机视觉的手势识别为媒介实现虚拟与现实之间的交互。因此,本文针对生物识别中人脸识别和增强现实技术融合系统实时性的功能需求,以Kinect传感器为计算机视觉输入设备,提出了一种基于生物识别的虚实交互系统,通过人脸识别确定身份,利用动态手势识别和增强现实技术进行实时交互。通过对基于几何特征、基于稀疏表示、基于BP神经网络、基于卷积神经网络的人脸识别算法的测试与分析得知,基于几何特征的方法对于被遮挡的人脸图像的识别效果不佳,基于稀疏表示的方法在字典学习阶段容易出现冗余现象,基于BP神经网络的方法收敛速度较慢,易出现解决应用问题的实例规模和网络规模间的矛盾问题,基于卷积神经网络的方法中,其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量保持稳定的效果。综合比较各种算法的优缺点,选择卷积神经网络算法作为本文基于生物识别虚实交互系统的用户身份鉴定算法。选取DTW算法进行动态手势识别,针对传统DTW算法所存在的问题,提出结合冗余模板建模和优化相关性失真度计算对DTW算法加以改进。在模板匹配和计算阶段,传统的DTW算法采用穷举法进行模板匹配,所需计算量较大,在实时手势识别响应时间上存在缺陷。因此引入冗余模板建模的方法改变手势模板搜索策略,从而增加手势匹配准确率,使人机交互有更为流畅的体验。设计实现了基于生物识别的虚实交互系统,提出将人脸识别、手势识别、增强现实交互融合到一起,并将改进后的DTW算法应用于系统中。从而提高手势识别的实时性、准确性,使基于生物识别的增强现实交互系统适用于室内外场景。