随着多媒体技术应用在国内英语课堂的普及,英文视频节目作为一种多模态语料在教学中得到了广泛的使用。但是,这种以影视语料为学习材料的视听训练的实际效果却存疑不断。虽然,研究者普遍认为视频材料可以提高学生兴趣度,真实生动的语境也有助于学生克服文化差异,更好的理解听力材料,但是中国学生实际存在的听、读能力的不平衡往往使教师倾向于采用带字幕的视频材料。所以,字幕对视频理解的实际效用问题越来越受到关注。近年来国内外教育者围绕字幕在外语教学中的使用展开了一系列研究,如使用母语还是外语字幕,字幕出现的时间前后,字幕对附带性词汇习得的影响等,对外语教学有极大的参考价值。本研究设计基于多模态学习的认知机制,旨在验证字幕的呈现方式对听力理解的作用。我们所讲的字幕的呈现方式又可称为演示方式,是指字幕在视频中的显现形式。字幕的呈现方式有多种,涉及多个方面,包括字幕出现的时间、位置、形态以及字体颜色、大小,字幕与声音和画面的不同组合方式等等。本文着重分析的是字幕出现的时间速率、字幕出现时的动静形态以及字幕出现的方位这三个方面。根据相关理论,本研究针对三个方面提出不同的研究问题:(1)先于语音出现的文本形成的信息预期是否有利于听觉信息的理解;(2)与语音同步显现的动态文本信息是否更加有利于听力理解;(3)字幕出现方位与阅读心理习惯相悖会不会影响听力理解。本实验的对象是某大学非英语专业大二的学生。在确定被试之前,作者首先进行了语言水平测试。在此基础上最终决定了100名被试,并将其分为四组,每组25人。首先有两组被试进行了字幕方位假设的实验,一组观看上方字幕的视频材料,一组观看下方字幕的视频材料。然后四组被试中,每组依次观看另外三个带有特定字幕的视频材料,来进行另外两个设想的实验。视频材料只播放一遍,在观看每个视频之后立刻进行听力理解的测试,即回答五到六个相应的多项选择题。实验涉及的字幕的呈现方式包括动态出现字幕,逐字出现字幕,卡拉OK字幕以及普通常见字幕。本实验在语言实验室进行,以保证其有效性。并在所有视频材料看完后,填写一张关于所看视频情况的调查问卷。最后通过SPSS对实验数据进行分析。实验数据分析发现:(1)先于语音出现的文本形成的信息预期有利于听觉信息的理解和记忆保持。数据结果显示,卡拉OK字幕组的成绩与逐字出现字幕组和普通常见字幕组有显著差异,从一定程度证明了这一设想。这三组比较的结果是卡拉OK字幕组优于普通字幕组再优于逐字出现字幕组。而且根据调查问卷反映,被试对卡拉OK字幕反映良好,认为字幕先出现,而后跟声音同步高亮的显现方式有助于减轻阅读字幕的负担,可在不理解话语时快速找到相应字幕。(2)与语音同步显现的动态文本信息更加有利于听力理解,表现为动态出现字幕组与普通静态的字幕组有显著差异。这也在一定程度上验证了认知语言学中的形基关系理论,动态的东西更容易被感知然后习得。根据调查问卷,受试者的确容易被动态出现的字幕吸引,然后通过字幕的帮助来理解内容,但是也有一些被试反映,注意力容易被过多地放到字幕上,而不是视频画面内容。因此动态字幕的使用需要在以后的研究中进一步改进。(3)字幕出现方位与阅读心理习惯相悖基本不会影响听力理解。根据实验数据,字幕出现在上方和下方的两组并无明显差别,只是下方字幕组的平均分稍高于上方字幕组。因字幕常见的出现方式在下方,受试者的注意力会习惯性指向下方。受试者在问卷中也反映,字幕出现在上方对他们的视频观看来说,会有一定的阅读习惯影响。但是在观看视频材料过程中只需很短的适应时间即可。因此两组无明显差异。鉴于分析结果,在视频阅听中,Paint-on字幕文本具有信息预期效应,合适的动态字幕设计更容易引起积极加工,但字幕呈现的方位则没有产生预料中的负面影响。这些效应的产生是有条件的:如任务相关性、语速限制、视听习惯等。研究结果提示,学习性视听节目的字幕设计具有极大的教学价值,值得进一步深入探讨,以期获得事半功倍的教学效果。