论文部分内容阅读
〔关键词〕 Ted 教育类演讲视频;多模态互动;交流模态;ELAN
随着现代传播技术的发展，多模态话语冲击了传统上文字在交际领域中的中心地位。在许多情况下，语言与其它符号模态资源一起构建意义，共同为交际服务。Kress & van Leeuwen 指出多模态语篇是任何一类通过一种以上符号编码实现意义的语篇[1]。与Kress & van Leeuwen 的研究不同，Norris 的多模态互动分析侧重于动态的多模态话语，认为互动是通过言语（spoken language）、空间距离（proxemics）、身体姿势（posture）、手势（gesture）、头部动作（head movement）、眼神（gaze）、场景布局（layout）、音乐（music）及印刷品（print）交流模态的相互协同使用而完成的[2]24。作为一种有准备的、即席性的话语类型，演讲视频不仅包括了言语模态的使用，还综合了演讲者音韵、手势、头部动作、眼神、脸部表情等模态协作的特点，是典型的动态多模态语篇。本文结合Norris 提出的模态密度前景?背景连续统一体（modal density foregroundbackgroundcontinuum）的分析框架[2]128，探究一则TED 教育类动态多模态演讲视频在演讲问题导入、问题提出、问题分析和问题解决这四个部分中各交流模态的分布特征以及各模态使用的强度和密度。同时，根据各交流模态使用的强度和密度以及交际主体对交际模态的注意或意识程度进行切分，并统计各个模态在互动协调关系中所占的比例，分析在整个演讲视频中演讲者言语、音韵、手势、头部动作、眼神等交流模态在构建演讲信息中所起的作用以及这些交流模态之间的互动机制。
一、研究背景
（一） 多模态话语分析的新发展
随着多模态话语研究的深入，多模态话语分析初步形成了以下三种理论方法[3]：第一种是以Gun-ther Kress & van Leeuwen 为代表的系统功能多模态话语分析（systemic functional-multimodal discourseanalysis）[4];第二种是以Norris 为代表的多模态互动分析（ multimodal interactional analysis）[2]; 第三种是Gu 提出的语料库语言学多模态话语分析[5]，其中系统功能语言学视角的多模态话语分析取得了很多丰硕的成果，如O’ Halloran[6]、Baldry & Thibault[7]、李战子[8?9]、胡壮麟[10]、张德禄[11?13]、梁兵和蒋平[14]、国防[15]、管乐[16] 等。同时，多模态语料库也受到了研究者的重视。Baldry & Thibault 建立的在线多模态检索器Multimodal Corpus Authoring （MCA） 等多模态分析软件的开发和使用为多模态语料库的建立和分析奠定了基础。但是， 以Norris 为代表的多模态互动分析的应用尚未得到重视。
（二） 关于演讲的研究综述
TED 是技术（ technology）、娱乐（ entertainment）和设计（design）三个英语单词的缩写。近几年来，以“互联网+演讲”的TED 演讲掀起了演讲传播的热潮。演讲者通过TED 演讲平台传递新思想、新信息、新观点。作为TED 主题之一的教育类演讲一直是最受关注的演讲话题之一。从目前对演讲的研究来看，Rendle-short[17] 对演讲中肢体语言和语言使用进行了研究，并发现了两者之间的复杂关系，Morton[18] 对演讲体裁进行了分析，Tardy[19] 对演讲中使用的PPT 与演讲内容之间的关系进行了探讨。从国内来看，学者们主要是从外语教学和语用学的角度来研究演讲的，如赵燕飞[20]、李颖[21]、刘森和吴鸿皓[22]、林岩[23] 等。但是从Norris 多模态互动理论的视角，并运用定性和定量相结合的研究方法来分析演讲者在整个演讲视频中如何使用各种交流模态来构建演讲信息以及各交流模态之间是如何构建多模态互动意义的研究非常少。
二、多模态互动分析理论
以Norris 为代表的多模态互动分析吸收了互动社会学、中介话语分析、联结分析（nexus analysis）、多模态话语等方面的研究成果。Norris 指出多模态互动的基本分析单位为“行动”（action），行动总共分为三个部分，即低一级行动（low-level action）、高一级行动（high-level action）和冰冻行动（frozen action）[2]26。人类互动被看作是一个交际事件，整个交际事件可以分成若干个阶段，各阶段都由一系列高一级行动构成，而每一个高一级行动由一系列低一级行动构成，低一级行动和高一级行动在互动中被连贯地建构起来;冰冻行动属于高一级行动，属于未出现的行为动作的模态。
（一） 交流模态（communicative modes）
Norris 指出人际互动包括九种交流模态：言语、空间距离、身体姿势、手势、头部动作、眼神、场景布局、音乐和印刷品。交流模态是具有规律和规则的意义表达体系或符号体系[24]81，以上九种交流模态在人际互动中起着重要作用。Norris 将场景布局、音乐和印刷品三种交流模态称为非实体（disembodied）模态[2]12。由于在本文选取的语料中这三种交流模态的体现不明显，因此这三种交流模态在此不再赘述。
1.言語
言语交流模态是指交流者在互动过程中使用的话语。其中，语调单位是语言模态的基本单位，也是构成多模态互动的“低一级行动”，言语模态被认为是交流者表达思想和传递信息的主要模态，在交流中交际主体和参与者的声音所表现出的不同语调都具有互动意义[2]17。
随着现代传播技术的发展，多模态话语冲击了传统上文字在交际领域中的中心地位。在许多情况下，语言与其它符号模态资源一起构建意义，共同为交际服务。Kress & van Leeuwen 指出多模态语篇是任何一类通过一种以上符号编码实现意义的语篇[1]。与Kress & van Leeuwen 的研究不同，Norris 的多模态互动分析侧重于动态的多模态话语，认为互动是通过言语（spoken language）、空间距离（proxemics）、身体姿势（posture）、手势（gesture）、头部动作（head movement）、眼神（gaze）、场景布局（layout）、音乐（music）及印刷品（print）交流模态的相互协同使用而完成的[2]24。作为一种有准备的、即席性的话语类型，演讲视频不仅包括了言语模态的使用，还综合了演讲者音韵、手势、头部动作、眼神、脸部表情等模态协作的特点，是典型的动态多模态语篇。本文结合Norris 提出的模态密度前景?背景连续统一体（modal density foregroundbackgroundcontinuum）的分析框架[2]128，探究一则TED 教育类动态多模态演讲视频在演讲问题导入、问题提出、问题分析和问题解决这四个部分中各交流模态的分布特征以及各模态使用的强度和密度。同时，根据各交流模态使用的强度和密度以及交际主体对交际模态的注意或意识程度进行切分，并统计各个模态在互动协调关系中所占的比例，分析在整个演讲视频中演讲者言语、音韵、手势、头部动作、眼神等交流模态在构建演讲信息中所起的作用以及这些交流模态之间的互动机制。
一、研究背景
（一） 多模态话语分析的新发展
随着多模态话语研究的深入，多模态话语分析初步形成了以下三种理论方法[3]：第一种是以Gun-ther Kress & van Leeuwen 为代表的系统功能多模态话语分析（systemic functional-multimodal discourseanalysis）[4];第二种是以Norris 为代表的多模态互动分析（ multimodal interactional analysis）[2]; 第三种是Gu 提出的语料库语言学多模态话语分析[5]，其中系统功能语言学视角的多模态话语分析取得了很多丰硕的成果，如O’ Halloran[6]、Baldry & Thibault[7]、李战子[8?9]、胡壮麟[10]、张德禄[11?13]、梁兵和蒋平[14]、国防[15]、管乐[16] 等。同时，多模态语料库也受到了研究者的重视。Baldry & Thibault 建立的在线多模态检索器Multimodal Corpus Authoring （MCA） 等多模态分析软件的开发和使用为多模态语料库的建立和分析奠定了基础。但是， 以Norris 为代表的多模态互动分析的应用尚未得到重视。
（二） 关于演讲的研究综述
TED 是技术（ technology）、娱乐（ entertainment）和设计（design）三个英语单词的缩写。近几年来，以“互联网+演讲”的TED 演讲掀起了演讲传播的热潮。演讲者通过TED 演讲平台传递新思想、新信息、新观点。作为TED 主题之一的教育类演讲一直是最受关注的演讲话题之一。从目前对演讲的研究来看，Rendle-short[17] 对演讲中肢体语言和语言使用进行了研究，并发现了两者之间的复杂关系，Morton[18] 对演讲体裁进行了分析，Tardy[19] 对演讲中使用的PPT 与演讲内容之间的关系进行了探讨。从国内来看，学者们主要是从外语教学和语用学的角度来研究演讲的，如赵燕飞[20]、李颖[21]、刘森和吴鸿皓[22]、林岩[23] 等。但是从Norris 多模态互动理论的视角，并运用定性和定量相结合的研究方法来分析演讲者在整个演讲视频中如何使用各种交流模态来构建演讲信息以及各交流模态之间是如何构建多模态互动意义的研究非常少。
二、多模态互动分析理论
以Norris 为代表的多模态互动分析吸收了互动社会学、中介话语分析、联结分析（nexus analysis）、多模态话语等方面的研究成果。Norris 指出多模态互动的基本分析单位为“行动”（action），行动总共分为三个部分，即低一级行动（low-level action）、高一级行动（high-level action）和冰冻行动（frozen action）[2]26。人类互动被看作是一个交际事件，整个交际事件可以分成若干个阶段，各阶段都由一系列高一级行动构成，而每一个高一级行动由一系列低一级行动构成，低一级行动和高一级行动在互动中被连贯地建构起来;冰冻行动属于高一级行动，属于未出现的行为动作的模态。
（一） 交流模态（communicative modes）
Norris 指出人际互动包括九种交流模态：言语、空间距离、身体姿势、手势、头部动作、眼神、场景布局、音乐和印刷品。交流模态是具有规律和规则的意义表达体系或符号体系[24]81，以上九种交流模态在人际互动中起着重要作用。Norris 将场景布局、音乐和印刷品三种交流模态称为非实体（disembodied）模态[2]12。由于在本文选取的语料中这三种交流模态的体现不明显，因此这三种交流模态在此不再赘述。
1.言語
言语交流模态是指交流者在互动过程中使用的话语。其中，语调单位是语言模态的基本单位，也是构成多模态互动的“低一级行动”，言语模态被认为是交流者表达思想和传递信息的主要模态，在交流中交际主体和参与者的声音所表现出的不同语调都具有互动意义[2]17。