随着多模态和多媒体在外语教学中的日益广泛运用,研究外语听力中视频输入的理解机制具有重要的理论与实际意义。为避免视频使用的表面化和形式化,为听力教材和的开发,课堂教学和测试题设计提供指导性原则,有必要探讨视听输入模式对理解效果的影响程度,以及视觉理解和听觉理解的本质与互动过程。为弥补这一领域的研究匮乏,本研究—多模态输入对英语听力理解的影响—探查了三个问题,旨在发现影响多模态理解的变量及各变量对听觉输入解读的干涉程度。研究问题包括：1)视觉输入如何影响理解过程?利用视觉信息的能力是否应纳入听力的定义?2)各种画面类型对受试听力结果的影响如何?3)各类型画面对不同语言水平的受试影响是否具有一致性?本研究以多模态认知模型为理论框架,将视频镜头分为场景视频和内容视频。前者展现言谈者的举止神态和副语言特征,而后者显示实景事物和事件进程。据McGurk效应,场景视频中的唇型等因素在语音层面与听觉输入互动,手势等身体语言在语言处理的各层面与听觉输入互动；而内容视频信息在语义层面与听觉输入融合。内容视频和音频输入由工作记忆中的处理器分别加工,建立独立的意义模型,然后汇集于中央决策器中形成完整的意义。内容视频和语言输入的关系经多模态话语分析可分为意义重合,意义相关和意义分歧。这一理论模型假设：场景视频在理论层面上对听力理解有积极影响；而对于内容视频,随着视听意义相关度的降低,视觉输入的辅助作用减弱而干扰作用增强。本研究把包括场景视觉输入的听力理解归纳为弱式听力而包含内容视觉输入的听力界定为强式。本文采用直接研究与间接研究相结合的方法获得定量及定性数据以分析学习者的听力理解过程。为了增加研究样本的广度和深度,我们设计了问卷调查,视听对比测试和口头报告。三个实验的结果相互解释,补充和支持。问卷调查包括对教师的问卷和对高水平组和低水平组学生的问卷。调查结果展现了多模态教学的现状和问题,具体表现在：1)受访学生不善于利用神态和肢体语言等视觉线索辅助理解,因此场景视频对听力理解未必产生积极影响；2)高水平学习者对视频用于学习和测试持更积极态度,并显示出更好的视听理解策略;而教师对视频在任务设计中的作用和策略培训方面缺乏清晰的了解；3)低水平学习者似乎在整体理解上更受视频影响,而高水平学习者在句子层面上也受益于视频。视听对比实验由两个使用内容视频的测试和一个使用场景视频的测试组成。前者分别选取视听相关度高和低的两个视频片段,用以比较视听高班,听力高班,视听低班,听力低班对整体理解和视听相关度高低不同的细节理解差异。ANOVA分析表明：视听相关度高的视频显著提高受试的理解率;视听相关低的视频也有助于整体大意的理解,但对视听一致度低的听力细节没有作用。折线图显示视听一致性高的视频对低水平学生的提示超过高水平学生。这暗示内容视频有可能降低听力练习的区分度。后者针对一个访谈片段设计了听力理解和词汇识别题,以研究口唇型和肢体语言对语音和语义解读的作用。独立样本T检验表明视听组并无显著差异,这意味着场景视频不显著干扰听力测试结果。在口头报告中,代表低水平的两人和代表高水平的两人分别就所给视频向研究者做出视听理解的即刻回顾,并回答研究者提出的问题。在即刻回顾过程中,受试描述了视觉理解和听觉理解的内容,以及如何达到整体理解；随后他们回答了对视听的总体认知及视频在教学与测试中的态度。具体发现有：当听力难度较大时,低水平受试通过视觉理解,自下而上的听力过程受阻：高水平受试更善于利用视觉信息强化自上而下的听力过程,展现出更佳的视听策略；视频镜头的信息量影响理解,信息量过大则干扰性大于辅助性；存在影响理解的个人因素,如视觉能力,空间能力等,这意味着听力以外的能力影响测试成绩。综合上述三个研究的结果,形成了本研究问题的答案：问题2)：就场景视频而言,尽管理论模型推断其能够辅助听力,这一作用在现实条件下并未得到显现；就内容视频而言,高视听相关度可显著提高听力输入的理解。低视听相关度对整体大意的理解仍有积极影响,但对细节辨识没有显著影响。问题3)：口头报告表明,内容视频的辅助性和干扰性对低水平学习者的作用均大于高水平学习者,证实了视觉设计效应在低水平者中更强。这两个问题的结论为弱式的听力定义和结构提供了环境上,理论上和实证上的支持,即问题1)的结论：在目前中国的教学环境下,场景视频纳入听力定义更具有合理性。本文最后探讨了此研究的理论和实践意义。首先,本研究的主要发现之一是学生英语水平影响视听互动的方式和程度,多模态认知模型中应纳入语言水平这一变量。这意味着教师和教材编写者应把学生水平和视听材料的语言难度相匹配,才可避免视频使用的肤浅性和形式化。其次,要关注视频的性质和质量,如镜头分类,画面特点,视听一致程度,视觉信息负荷等,并据此合理设计听力练习。此外,教师应注意视听策略的归纳,并对学生进行系统性训练。最后,场景视频应广泛应用于教学,并在测试中加以尝试,以达到较好的反拨作用。总而言之,为了最大限度发挥科技对语言教学的促进和贡献,多模态输入中视频种类,视听一致性和学习者水平之间的相互关系值得进一步研究。