本研究试图考察面孔和声音之间是否存在某种有迹可循的内在联系,以及人们是否具有跨通道匹配陌生面孔-声音身份信息的能力。采用眼动技术和脑电技术进行实验验证,共实施两个实验。实验1采用改进的XAB实验范式,同时呈现1个声音和2张面孔图片,要求被试选择与声音身份信息相匹配的面孔(其中一张面孔与声音同属一人),采用Eyelink1000plus记录数据,目的是为考察被试是否能够跨通道正确匹配陌生面孔-声音,以及寻找出被试在进行陌生面孔-声音匹配时,是以面孔的何种特征为判断依据的,进而探究被试采取的视觉加工策略。随后对被试表现出的这一匹配能力进行了原因初探,紧接着实验1要求同一批被试进行面孔和声音再认任务(考察记忆力),观察力测验和推理能力测验。实验2目的是为探究面孔-声音身份信息跨通道匹配的脑机制,采用识别范式,先呈现1个声音,后呈现1张面孔,要求被试判断该面孔与之前呈现的声音是否同属一人(面孔-声音匹配与不匹配的比例为1:1)。因声音具有时间持续性的特点,时长较长且不统一,故只对面孔图片进行脑电数据的记录和分析。本研究的系列实验一致揭示了人们可以凭借声音推断出陌生个体的相貌,也从侧面反映了面孔和声音之间存在内在联系。在实验1中陌生面孔-声音匹配的正确率达到了57.55%,实验2的行为数据结果显示被试对陌生面孔-声音匹配的正确率仅达到52.19%,击中率则达到了57.14%。两个实验的行为数据正确率均显著高于随机概率,p<0.01。实验1的眼动数据表明只在眉眼区域发现了眼动模式的显著差异,即面孔-声音匹配的凝视时间和总注视时间显著长于不匹配的凝视时间和总注视时间,面孔-声音匹配的总注视次数显著多于不匹配的总注视次数,揭示了眉眼区域包含了大量的身份信息,该区域还体现了视觉整体加工的策略。原因初探系列实验中发现面孔-声音匹配能力与记忆能力和推理能力相关显著。实验2中在面孔性别上ERP数据模式有所不同,对于男性block,相比于一致条件,不一致条件在左前额叶区和在左颞叶区诱发了更负的ERP成分,时间窗口分别为680～780ms和250ms～550ms;对于女性block,相比于一致条件,不一致条件在左前额叶区诱发了更正的ERP成分,时间窗口为800～900ms。结论如下,1、人们具备对陌生面孔-声音身份信息跨通道正确匹配的能力,这种能力受人们的学习经验、记忆能力、推理能力等多种因素的影响。2、面孔和声音之间存在内在的联系,“特定的面孔匹配特定的声音”,体现了自然选择的特点具有进化意义。