抓握操控物体是手的重要功能。为了实现精确而稳定的抓握，人体需要通过视觉和触觉等多种感觉系统实时接收环境信息，并通过中枢神经系统的整合形成决策，然后向外周神经发送运动命令，通过激发肌肉收缩完成抓握动作。研究在精准抓握的过程中，大脑是如何整合对于此行为至关重要的触觉和视觉的信息并实现对物体抓握操控的闭环控制是神经生理学领域的研究中意义重大。然而，传统的研究方法均只能将触觉和视觉的效应进行叠加，通过对单模态和多模态感知下的抓握控制获得对附加模态感知信息功能作用的推测，但受技术手段的限制，无法将视觉与触觉信息进行剥离，更无法使二者产生一定的冲突。这无法解释的一个核心问题是，当视触觉信息不一致时，抓握控制是否会更加以来某种特定模态的感知信息？视觉和触觉在影响抓握控制中扮演的角色是否相同，等等。针对这些问题的研究有助于深入了解视觉和触觉等不同模态的感知信息如何在精确运动控制中发挥作用，对明确人类神经系统的工作机理、建立对复杂神经肌肉病变的无创检测方法、以及新一代具有感知运动双向通路的仿生假肢机器人等都有重要的作用。针对该问题，本文着重开发了一种基于虚拟现实的抓握测试分析系统，可在同步记录各手指精确指力、多路肌电及脑电信号的同时，产生定量化的视触觉冲突并客观准确地记录各行为学及神经生理学的信号变化。同时，研究当视触觉冲突产生后，是否可以通过多通道的振动体感反馈，增强体感信息，以此弥补视触觉冲突造成的影响。在上述技术开发的基础上，本研究进一步设计了混合现实环境下的多指精确抓握实验，通过抓握水杯这一日常行为和设置的触觉和视觉对水杯倾斜角度的差异，观察中枢神经系统如何整合视觉和触觉不同模态的冲突信息进而维持水杯相对平稳的机制。具体来说，本研究的工作包括以下几个方面:(1)实验平台开发。本研究利用虚拟现实设备HTC VIVE开发虚拟现实的交互环境，通过将虚拟水杯模型在x和y方向分别增加额外偏斜旋转来生成视触觉不一致的交互方式。水杯上附着的追踪器提供了水杯的实时位置和偏斜情况，这些信息的实时反馈也形成了虚拟和现实的混合统一。系统同时集成了脑电、肌电、力和力矩等数据的接口，以多种方式实现了同时解码和同步保存。为了使实验平台能够在进行人体实验时稳定而鲁棒地运行，多种经典的设计模式被用来保证多种类型和参数的生理信号数据的独立和安全地传输与共享。软件系统使用多线程的并发模式同时保持和其他数据接口的通信和同步，不同类型的数据使用相应的编解码算法维持速度和效果的平衡。硬件系统使用单片机作为下位机承担和上位机通信以及解码上位机命令然后驱动振动电机提供振动反馈的功能。自主设计的通信协议组和滤波驱动电路可以满足实验环境下的需求。以纯C++代码设计的编解码库VrParser用一种跨平台的方式提供了对于实验过程中的二进制数据的编解码的接口，平台的使用者可以以一种非常简便的方式拓展和集成这个代码库，例如将其接入到Matlab和Python等语言的Runtime库中。
　　(2)行为学数据的分析。在对于实验行为学数据分析结果中，本文分析了在有振动反馈和无振动反馈条件下受试者不同的信息加权策略导致了完全不同的两类结果。振动反馈非常有效地降低了受试者抓握水杯的倾斜角度的幅值(3.98°vs1.71°，p＜0.01)，并且水杯的额外偏斜角度的大小也显著影响了抓握水杯的倾斜情况，这是符合预期的事实。然后本文提出了对于偏斜角度进行高斯建模的可能性。对于在有无振动反馈两种条件下实验数据可以分为两类高斯分布的结果，我们认为这是反应了受试者对于抓握物体的策略的两类分化所形成的结果。但是两类高斯分布的界线并不明晰，这也反映了对于抓握的感觉分配策略并不是泾渭分明的，而是连续的。在对于实验中拇指的指力分析中，压力中心点的拟合面积并无显著变化（p＞0.05），但是y方向的压力中心点轨迹和其速度有振动反馈条件下指力的熵值会降低（p＜0.05），这可能是出于添加在异侧肢体的振动反馈也占用了一定比例的触觉感受通道所导致的。
　　(3)脑电和肌电的结果分析。在脑电的功率变化的计算中，我们发现不同的实验条件对于beta频带的大脑活动影响显著。具体地，振动反馈的加入导致了更加低的beta活动的功率(-15.16，p＜0.01)。，并且视觉皮层的抑制效应要远高于双侧感觉皮层的(-35.48，p＜0.01)，而两侧感觉皮层之间没有显著性的差异(-7.67，p=0.40)。对比在上文中提到的两类高斯分布的脑活动差异，我们发现较高均值的高斯分布的实验具有更高程度的beta活动抑制(-39.84，p＜0.01)。对于较高频率的gamma活动的影响上没有观察到任何实验因素的差异。除此之外还观察到了在C3附近的gamma频带和C4附近的beta频带和上肢肌肉耦合的程度差异，且均是在无振动反馈条件下的较高(t=2.56，p＜0.05)。肌电的分析中，我们发现了振动反馈造成了肌电的幅值和中值频率向较高值的迁移。