随着计算机技术水平的高速发展,计算机设备在人们生活中极大程度的普及,结合了各方面学科知识的虚拟现实融合技术应运而生,并逐渐广泛应用于教育、医学、军事等各个领域。为了搭配虚拟现实技术的使用,往往需要摄像头、操作器等设备的辅助,一来限制了用户的使用空间,二来其定义的操作模式与真实场景有一定出入,降低了用户的沉浸式体验,好的人机交互方式成为虚拟现实融合技术使用中的关键之一。手作为人身上最为灵活的器官,逐渐在人机交互上占据一定地位,其中基于智能数据手套的人机交互方式是最为自然,最有沉浸感的方式,也成为了近年来的研究热点。然而,当前市场存在的数据手套多是存在穿戴舒适度不够、使用成本高昂等不足,并且对于触觉这一人体重要感知通道的应用并不多见,一定程度上降低了在人机交互使用上的沉浸感。本文通过分析研究国内外的研究工作,总结了目前使用在虚拟现实交互中的数据手套的优势与采集通道数少等不足,点明了触觉通道融入对人机交互体验提升的重要性,明确了本文提出的多模态感知交互数据手套系统的研究目标和既定需求。数据手套系统包括了下位机硬件系统和上位机软件程序两个部分组成,其中下位机系统负责对使用者的各类手部信息进行采集,其中包括手部温湿度信息、压力感知信息、手指弯曲度信息和手掌姿态信息。上位机软件程序负责对数据手套获取的信息进行数据呈递监控以及虚拟场景的实时复现,实现虚拟与现实之间的融合。上位机与下位机之间采用蓝牙进行实时通讯,减少对数据手套使用空间的限制。设计过程中,对于系统的下位机硬件部分,针对所需的信息采集通道进行不同的传感器选型、电路设计工作,同时为了满足数据手套小型化、便携化的使用需求,对相对复杂的多通道采集电路进行优化,设计了多通道遍历循环电路减少电路体积,绘制了电路PCB与手套硬件外壳,将下位机系统集成于手套基底上制成数据手套。软件部分对下位机运行程序进行设计,满足不同传感器的信号采集获取,对采集到的数据进行了加权递推平均滤波、归一化算法、卡尔曼滤波等滤波算法进行数据优化,并设计了合适的数据格式满足下位机与上位机之间的实时通讯。上位机软件部分使用MATLAB对传递数据进行图表结合的方式实时呈递,用于手部数据监控,并使用Unity 3D进行虚拟场景建模,以虚拟手的方式实现用户手部动作的行为复现。为了动作真实性对手指关节进行数学模型建立,实现多关节角度映射,并建立了静态和动态的手势库以满足基本的手势识别工作。通过对所设计的多模态感知交互数据手套系统进行实验分析,验证了手套系统信号采集的准确性,上位机数据呈递于虚拟场景复现的真实性,基础手势识别的效果良好,系统使用的稳定性强。本文设计的多模态感知交互数据手套系统感知通道丰富,制作成本低、使用灵活、应用场景广泛,有可拓展能力。文章最后也阐述了本研究的数据手套的不足和未来继续优化和改进的方向。