论文部分内容阅读
脑机接口将大脑的神经活动通过解码器的解析,转化成可以用来控制外部设备的控制信号,实现了大脑与外界环境的直接交互,为有运动功能缺失的患者带来了一种新的康复途径。现阶段关于神经解码的研究主要是基于监督学习和基于强化学习两大类。相比于需要训练数据的监督学习解码模型,基于强化学习的解码模型的优势在于:(1)无需实际的用户肢体行为数据;(2)允许用户通过试错的方式来动态的操控外部设备;(3)解码模型能自适应神经元发放模式的变化。大脑具有很强的可塑性,环境的变化势必会引起神经元发放模式的改变,强化学习模型这种自适应的特性在脑机接口的解码稳定性中具有重要的作用。本文使用了两只猴子(B04和B10),基于经典center-out伸缩实验范式对强化学习的自适应特性进行了探索,并和经典监督学习方法SVM进行了比较分析。在center-out范式中,猴子通过摇杆控制光标球击打目标球以获得奖赏。同时,用于离线分析的B04神经数据来自于其大脑的双侧初级运动皮层(M1)区,用于在线实验的B10神经数据来自于其双侧背侧前运动皮层(PMd)区。算法部分,我们首先实现了基于误差反向传播(BP)的人工神经网络的强化学习方法(attention gated reinforcement learning,AGREL),和基于径向基函数(RBF)神经网络的强化学习方法(quantized attention gated reinforcement learning,QAGKRL),相比于AGREL有陷入局部最小值的缺陷,该方法能实现非线性神经解码的全局最优解,同时还利用量化方法压缩神经网络的拓扑结构以降低计算复杂度。在离线分析中,我们选用了 10天的数据进行比较分析,综合来看单纯分类时SVM优于QAGKRL,QAGKRL优于AGREL,但QAGKRL和AGREL不经过训练和不需要运动数据就获得了和监督学习方法近似的分类效果,且在样本一的模型上测试样本二时(样本一二分别对应不同两天的神经信号数据集),QAGKRL和AGREL分类正确率下降后能迅速恢复到样本一测试结果的水平,而SVM下降到随机水平后无法恢复。在线脑控采用了在线脑机接口研究中的共享控制方法,引入共享控制参数来帮助猴子适应从手控到脑控的过渡过程,我们发现强化学习方法通过与外部环境的互适应可以获得比SVM方法更高的在线解码正确率,且QAGKRL优于AGREL,同时作为比较在我们切断这种互适应关系后,强化学习方法在线解码正确率降到平均水平以下且低于SVM方法。综上所述,本文在脑机接口相关研究背景下,利用已有资源成功搭建了在线实验平台并在平台上实现了解码模块,扩展了 SVM、AGREL、QAGKRL三种解码算法,先利用离线分析验证了算法和平台的有效性,再进行范式训练和在线实验,实现了猴子脑控光标球的系统功能。