多感觉整合(Multisensory Integration)是指,来自不同感觉通道(视觉、听觉、触觉等)的信息同时同地呈现时,被个体有效地整合为统一、连贯的知觉信息的现象。通过合并来自不同感觉通道的信息,多感觉整合能够减少知觉系统的噪音,帮助个体更好地知觉信息,在行为上表现为对同时呈现的多通道信息的判断更快更准确。已有研究将这种对双通道信息的加工优势称为冗余信号效应。回顾以往研究不难发现,早期研究多关注多感觉整合本身的特性和加工方式。作为最主要的感觉通道,视听整合加工的特性是研究者们关注的焦点。近几年,研究者们逐渐将兴趣点转向注意与视听整合加工的关系上。但是,已有研究大多针对注意与非注意条件对视听整合加工的影响是否存在差异进行探讨,而忽略了注意除可以指向空间和客体之外,还可以指向感觉通道的灵活性。因此,本研究旨在考察指向不同感觉通道的注意对视听整合加工的影响以及注意资源量和注意的起伏在其中的调制作用。本论文包括三个研究,共6个实验。研究一通过线索刺激将被试的注意指向不同感觉通道(只注意视觉、只注意听觉、同时注意视觉和听觉),考察了指向不同感觉通道的注意对视听整合加工的影响是否不同。实验1以图形和短音作为实验材料,被试的任务是根据线索刺激对相应的目标刺激进行按键反应。实验结果发现,只有在同时注意视觉和听觉(分配性注意)条件下,被试对视听双通道目标的反应最快,即产生冗余信号效应,而在只注意视觉或只注意听觉(选择性注意)条件下并没有冗余信号效应产生。为检验冗余信号效应是否源自于双通道目标的视觉和听觉成分的整合,采用竞争模型分析法对被试反应时的累积量分布概率进行检验。结果发现,实验1中的冗余信号效应源自于视听双通道目标的视觉和听觉成分的整合。也就是说,实验1结果表明,只有在分配性注意条件下才会产生视听整合。实验2对实验1的材料进行调整,以人声读出的汉语单字词作为听觉刺激,使其与视觉图形形成语义一致和不一致两种条件,考察了指向不同感觉通道的注意对视听言语整合加工的影响是否不同。结果发现,在选择性注意条件下,语义一致和不一致的视听目标均没有冗余信号效应产生。在分配性注意条件下,被试对语义一致的视听目标反应最快,即在语义一致的视听目标上产生冗余信号效应,而语义不一致的视听目标不具有加工优势。竞争模型分析发现,冗余信号效应来源于语义一致视听目标中视觉和听觉成分的整合。也就是说,实验2结果表明,只有在分配性注意条件下,语义一致的视听目标才会产生整合,而语义不一致的视听目标不会产生整合；在选择性注意条件下,不论语义是否一致,视听目标均不会产生整合。研究二在研究一的结论基础上探讨了在分配性注意条件下注意负荷对视听言语整合加工的影响。包括两个实验,分别从视觉负荷(实验3)和听觉负荷(实验4)的角度进行考察。实验3发现,只有在无视觉负荷条件下才会产生冗余信号效应,而在有视觉负荷条件下无冗余信号效应产生。竞争模型分析发现,冗余信号效应来源于语义一致视听目标的视觉和听觉成分的整合。实验3结果表明,即便是在分配性注意条件下,视听目标的整合加工仍然受到视觉注意负荷的调制,表现为只有在无负荷条件下才会产生视听整合,而在有视觉负荷条件下没有产生视听整合加工。实验4结果发现,不论是否呈现听觉负荷,被试都对视听双通道目标的反应最快,即不论有、无听觉负荷,均产生了冗余信号效应。随后的竞争模型分析发现,在有、无听觉负荷条件下均产生了视听整合。实验4结果表明,分配性注意条件下产生的视听整合加工并不受听觉负荷的调制。综合研究二的结果可以发现,视觉和听觉注意负荷在影响视听言语整合加工时具有不对称性。研究三采用节奏化的视听线索,从动态注意理论的角度出发,考察了在分配性注意条件下注意的起伏对视听言语整合加工的影响及其神经机制。实验5设置了目标刺激与视听节奏相符(合拍)、不相符(不合拍)和无视听节奏(静音)三种条件,发现只有在合拍条件下,被试对视听双通道目标的反应最快,即产生冗余信号效应,而在其他两种条件下均无冗余信号效应产生。竞争模型分析发现,冗余信号效应来源于视听目标的视觉和听觉成分的整合。也就是说,只有当视听双通道目标落在注意节奏的峰值上时才会产生视听整合,而在其他两种条件下,即使视听目标的视觉和听觉成分同时呈现,仍然无法进行整合加工。实验6在实验5的基础上,设置合拍和无声两种条件,采用具有较高时间分辨率的事件相关电位技术考察了注意的起伏影响视听言语整合加工的时间进程和神经机制。结果发现,对于单通道听觉目标而言,合拍条件下的额区和中央区N1波幅显著大于无声条件,中线和右侧电极上合拍条件下的N1波幅显著大于无声条件；在Pz和P3电极点处,合拍条件下的P2波幅显著大于无声条件下的P2波幅。对于单通道视觉目标而言,合拍条件下头皮前部和枕部的N1波幅显著大于无声条件下的N1波幅；在额区电极处,合拍条件下的P2波幅显著大于无声条件下的P2波幅。综合上述结果可以看出,在N1成分上,不论对于视觉目标还是听觉目标,均出现了N1注意效应,即在合拍条件下的波幅显著大于无声条件下的波幅。这表明在合拍条件下被试更能将注意指向目标刺激。结合已有研究中对于视听整合加工的脑电数据处理方法,在0-500ms时间窗内,对每20ms的ERP波幅数据进行分析。将不同时间段内单通道听觉目标和视觉目标诱发的ERP相加(A+V),与视听双通道目标诱发的ERP(AV)相比,结果发现,只有在合拍条件下,在121-140ms的头皮前部右侧脑区,141-160ms的头皮前部中央区均出现AV大于A+V的超加性效应。这表明,在本研究的实验条件下,当目标刺激处于注意峰值时才会产生视听整合,但是这种注意峰值对视听整合的影响并不是持续性的,而是在目标刺激呈现之后的121-160ms之间产生。综上所述,注意对视听整合加工存在一定的影响,表现为只有当注意同时指向视觉和听觉通道时才会产生视听整合加工,这种效应在简单刺激的视听整合和视听言语整合加工中均存在。其次,分配性注意条件下视觉和听觉注意负荷对视听言语整合加工的影响具有不对称性,表现为视觉负荷下不会产生视听整合,而听觉负荷下仍然存在视听整合。最后,分配性注意条件下的注意起伏对视听言语整合存在一定的影响,即当目标刺激处于注意峰值时才会产生视听整合加工。同时,这种影响并非持续性,而是在目标刺激呈现后121-160ms之间才会出现。