在日常生活程中,我们利用多种感觉通道信息(如：视觉信息、听觉信息、嗅觉信息、触觉信息等)对外部世界进行感知。例如,在行走过程中,我们利用肌肉的本体感觉信息和前庭感觉信息等多种感觉信息对自身行走的速度进行感知。这些由不同通道所提供的信息,似乎是冗余的。然而,大量的行为研究结果却显示,对于同时呈现的多种感觉信息的判断更准确、响应更快速(FrassinettiBolognini & Ladavas,2002；Frensvan Opstal & van der Willigen,1995)。这种将来自多种感觉通道的冗余信息有效地整合为统一、连贯、稳定的知觉信息的现象,被称为多感觉整合(Ernst & Bulthoff,2004)。以往的研究从行为及神经成像角度,研究了多感觉整合的认知神经机制。行为研究证实,不同感觉信息的整合是以加权平均的方式进行的,估计信息的先前知识经验也属于整合信息的一部分。此外,整合过程中不同通道感觉信息的利用权重受该通道信息估计稳定性相关先验知识的影响。神经成像研究结果则证实,多感觉整合加工所涉及脑区不是一个单一的脑区,而是一个涉及多个脑区的网络,不同属性的刺激材料,激活的整合区域有所不同。大脑中有专门负责单感觉信息加工和多感觉信息整合加工的功能特异区,多种感觉通道信息的相互作用不仅仅只是单感觉功能区到多感觉功能区的前馈联结,还存在多感觉功能区到单感觉功能区的反馈联结,并且单感觉功能区之间也存在直接的前馈联结。在以往的研究中存在以下不足：首先,在研究范式上,以往的神经成像研究多采用不同单通道刺激和双通道刺激随机呈现的方式进行测量。在这种范式中,可能存在通道转换效应,从而导致对多感觉整合的测量结果不准确,这种干扰在多感觉整合的ERP测量中尤为突出。因此,分析清楚通道转换效应的影响特点,并以此为依据设计合理的整合测量范式,去除通道转换效应,是进行多感觉整合研究的一个必要前提。其次,在行为研究领域,对于通道不稳定性先验知识对信息整合的影响是发生在知觉加工还是决策阶段是不清楚的。在神经成像领域,缺乏对先验知识影响多感觉加工的神经机制进行探索。一个重要的原因是,缺乏即能操控先验知识又能适合神经成像研究的实验范式。最后,研究文字-语音整合的认知神经机制对我们理解读写能力的神经基础具有重要的意义。然而,以往的研究大都以英语文字为研究材料,而已有研究证实汉字和英文加工具有不同的加工机制。因此,需要对汉字-语音整合进行进一步的研究,以确定汉字-语音整合中是否具有特殊的认知神经机制。对于已有研究方法上可能存在的缺陷,本文首先通过实验一验证了在经典的整合测量范式中,通道转换效应是否影响多感觉整合的测量结果。并在实验二三中通过控制前后刺激的信号强弱和位置关系,分析通道转效应的特点。综合分析显示,在多感觉测量范式中,有三种因素会对多感觉整合的测量产生影响。由前后刺激呈现通道变换所导致的通道转换效应,该因素将导致单通道条件的ERP波形中混入转换相关的ERP成分；二、由前后同一通道刺激的强弱所导致的该通道感知阈限的动态调节；三、由前后通道刺激的强弱所导致的对当前反应的警觉水平的动态调节。要在多感觉行为、及ERP测量中获得纯正的结果,就必须消除掉这三个影响因素。根据这三个因素的特点我们对已有的测量范式进行了修正。对于先验知识的测量,本文通过赋予两种颜色字母不同的视、听一致概率(高概率HP、低概率LP),测量并分析被试在每种概率条件下对视听一致刺激的反应时和ERP波形。反应时分析结果显示大脑在约900次实验后已经形成新的先验知识并开始影响视听整合,先验知识的获得是潜意识的。结合行为分析结果,将实验分为先验知识形成阶段和影响阶段后,分别分析在每个阶段中,两种条件之间的差异波。结果显示,在先验知识的形成阶段,出现一个注意相关的顶枕叶P102成分；在先验知识的影响阶段,出现一个与先验知识的提取相关的N70成分和一个与整合输出相关的P188成分。综合考虑,这些结果暗示,通道估计可靠性先验知识对视听整合的影响发生在知觉阶段,该先验知识的提取发生在早期的初级视觉皮层,并对多感觉区域进行调制,先验知识的形成期间需要占用更多注意资源。对于视听文字整合的加工机制,我们利用汉字单音词丰富的特点进行了研究。实验五中通过控制视听刺激的语义分类的一致性来调查在视听整合中与语义整合相关的成分。结果发现完全一致的视听刺激比类别不一致的视听刺激诱发更大的视听觉P2波幅,但与类别一致视听刺激所诱发的波形没有显著区别。该结果表明视听觉P2是与语义整合相关的成分。实验六利用FMRI技术检测在颜色-语音、汉字-语音视听整合过程中,具有整合增强效应的脑区的差异。结果发现,在视听整合过程中,左侧颞上回仅在汉字-语音视听整合过程中出现整合增强效应,而缘上回则在两种任务中都出现整合增强效应。该结果说明颞上回是涉及语音信息整合的脑区,而缘上回是涉及语义概念整合的脑区。同时本研究还发现,在汉字-语音视听整合过程中,右侧顶下小叶也同样出现多感觉增强效应,因该区域只在汉字加工中被涉及,所以该结果表明,多感觉整合所涉及的脑区是随着任务和刺激加工属性的不同而变化。