为了适应外界环境的快速变化,在长久的进化过程中,人类具备了将物体与物体建立相互联结的能力,这一能力对生存至关重要。联结的建立可以通过外显或内隐的途径,可以发生在感觉模式之内或之间。以往的研究表明,大脑中存在一个处理来自不同感觉模式的皮层系统；然而,我们依然不清楚该系统是如何在学习过程中对跨越感觉模式的信息进行整合并维持的。本论文的目标是利用行为学实验和脑电图记录手段,研究人类被试在执行视觉-触觉交叉模式配对联想学习任务时,大脑形成并记忆不同模式感觉刺激间的联想配对的过程,根据实验结果对传统的感觉信息分级处理模型进行补充完善。研究共包含三大部分。第一部分是文献综述。对交叉模式下的工作记忆及配对联想学习领域的研究现状进行了系统性的回顾和总结,在前人研究的基础上分析待解决的科学问题,并提出本研究的假说和设想。第二部分是实验研究。通过行为学实验和脑电记录手段,论文在4个研究中探讨了视觉-触觉交叉模式下配对联想学习中的脑活动。研究结果如下：1.研究一利用了延时配对联想学习范式和脑电记录手段探索了与交叉模式下配对联想学习相关的事件相关电位成分的变化。在配对联想学习实验中,被试需要通过判断先后出现的两个刺激间的配对关系(配对或者不配对),结合系统对其判断的反馈,学习主试预先定义好的视觉-触觉交叉模式或者视觉-视觉单一模式的配对规则。学习前后的脑电变化被定义为学习效应；同一学习阶段中,交叉模式和单一模式之间脑电差异被定义为模式效应。结果发现,前区电极记录到的N400成分显示出了学习而无模式效应,可能表征了配对联想学习时的神经活动,与刺激模式无关。相比而言,中区的P400成分则显示了学习和模式两种效应,提示该成分对学习时的神经活动的表征取决于刺激的感觉模式。在后区记录到的LPN(late posterior negativity)成分仅在交叉模式下显示出了学习效应,因此该成分可能特异性地参与到交叉模式配对联想学习的神经活动中。在CNV(contingent negative variation)成分上仅观察到模式效应而无学习效应,提示其可能表征了交叉模式和单一模式下,与工作记忆有关的神经活动的差异。此外,在交叉模式任务中,学会配对联结后的延时晚期出现了α频段振荡的显著增强,可能表征了与交叉模式工作记忆有关的神经活动。2.研究二利用视觉再认任务对研究一里被试对实验刺激本身的熟悉度进行了研究。行为学结果显示,被试对于配对联想学习任务中所用的实验刺激的熟悉程度在两个实验区组后就达到了较高的水平(正确率超过85%),继续学习配对也不会造成熟悉度的进一步显著提高。结果提示,对配对联想学习任务中实验刺激熟悉度的变化可能并不是引起电生理结果中学习效应的主要因素。3.研究三利用延时可变的配对联想学习任务探索了刺激间延时对提取已习得配对关系的影响。该任务与研究一中的实验任务相似,不同的是在测试区组内新增了200和400毫秒两种延时(对应前一刺激呈现之后的400和600毫秒)。后一刺激在200毫秒条件下早于N400/P400和LPN出现,而在400毫秒条件下早于LPN却晚于N400/P400。结果显示,200毫秒条件下,交叉模式和单一模式任务组的行为学表现均显著地差于400和1300毫秒条件;交叉模式任务的被试在400毫秒条件下的反应时显著高于1300毫秒条件。结合研究一的发现,这些结果提示了N400/P400和LPN确实在配对联想学习发挥着作用。4.研究四记录了不同延时条件的测试任务下交叉模式和单一模式任务的脑电信号。结果发现,中区的P170和后区的N140、P220这三个成分表现出了稳定的任务间差异,提示了对交叉模式联结的习得可以影响到视觉的早期脑电成分。研究的第三部分是根据上述4项实验研究的结果,结合前人的研究结论,对交叉模式配对联想学习的神经机制进行总结,并提出进一步研究的设想。结果提示：通过执行配对联想学习任务,被试可以在较短的时间内(约半小时)习得配对规则,这种学习可以诱发皮层的可塑性变化,并在脑电上反映为若干个连续的成分,这些成分与行为学任务的事件依次对应并相关。综上,这些结果为我们了解感觉交叉模式下联想配对的建立和记忆的形成背后的神经网络的动态变化提供了切入点,为进一步研究跨通道感觉联结的建立和维持提供了实验基础。