论文部分内容阅读
1.引言
继《多模态与体裁》（Multimodality and Genre）（2008）与《多模态电影分析》（Multimodal Film Analysis）（2012）之后，德国不莱梅大学应用英语语言学教授John A.Bateman于2014年隆重推出了由劳特利奇出版社出版的学术巨著《文本与图像：视觉和言语划界的批评性导论》（Text and Image： A critical introduction to the visual/verbal divide.）。该书从社会符号、视觉交际、话语的心理语言学方法、广告和视觉劝说及认知隐喻理论等多维视角，探讨了文本与图像关系的各种多模态分析方法，为英语语言和语言学、媒体传播学、视觉设计等研究提供了理论借鉴。
2.主要内容
全书共分三个部分，每个部分又分成不同的模块和单元。
第一部分是建立文本和图像的联系。这一部分由模块一及两个单元组成。在第1单元中，作者从多模态性和“意义增值”的关系出发，寻找建立文本与图像联系的基础。作者指出，文本和图像既非完全相似，又非截然不同，将文本和图像结合起来，可使两者在相似中融合、在差异中增值，从而建立两者之间的兼容和对话。为此，作者提出了构成全书基础的图文关系整体观，认为“文本和图像是一个二维及静态特质组成的合成体。在这个合成体中，文本和图像既是视觉实例，又是意图的共现”（P.28）。在第2单元中，作者以文本—图像结合所产生的意义类型为出发点，对文本与图像关系的研究进行了理论回顾。作者发现，自罗兰·巴特（Roland Barthes）将文本—图像关系划分为锚定、说明和传递这三种关系以来，文本—图像关系开始进入学术研究的领域。其中，系统功能语言学及其纯理功能思想正式确定了文本—图像的多模态意义建构关系，使视觉模式具备了语言的性质，也为视觉语法的建立奠定了理论基础。
第二部分聚焦视觉语境，探究在不同视觉语境中，文本—图像关系在实现多模态语篇的叙事功能（模块二）和劝说功能（模块三）中的途径与方法。模块二的主题是视觉叙事，包括第3-5单元。在第3单元中，作者引入了叙事学和语类两大理论框架，作为视觉叙事的理论基础。作者发现，聚焦、时间顺序和叙事角度等基本的语言叙事策略，可以拓展到非语言的模态。同样，不同语类的会呈现出独特的语言特征，语类所表现的语言特性同样适用于视觉模态。第4单元和第5单元分别聚焦儿童图画书和漫画。作为视觉叙事的两大典型语类，图画书和漫画存在许多相似点，作者对二者做了详细的区分，二者之间在图文的相对位置、距离，时间顺序的表现，以及同一页面图像数量等方面存在不同。作者认为，这些不同点会直接影响图文关系。在第4单元中，作者首先对儿童图画书语类涉及的实证和理论研究进行梳理，然后概括总结出儿童图画书这一语类中存在的图文关系的类型、可靠判断组合关系的标准，以及文本—图像关系对整体意义建构的作用（P.73）。在第5单元中，作者回顾了针对漫画语类的研究，介绍了Neil Cohn 和Thierry Groensteen两位学者的研究成果，并详述了前者提出的内在关系、相邻关系、独立关系、浮现关系四种图文关系（P.107）。
模块三是视觉劝说，包括视觉修辞（第6单元）和视觉劝说与广告（第7单元）。在第6单元中，作者首先介绍了传统修辞分类（包括结构性修辞与转义性修辞两大类），然后对现有修辞研究进行了梳理和总结，发现传统语言修辞逐渐扩展到视觉材料和语言—图像组合的分析中。作者认为以修辞概念为基础的文本—图像关系分类，在可靠性、关系识别和分类效果方面还有待进一步验证。第7单元是第6单元的延伸，即以广告语篇中视觉修辞的实证研究为基础，验证了将传统的修辞概念应用于视觉材料和图文组合分析的可行性与效果。
第三部分涉及具体图文关系的理论框架，由模块四和模块五组成。模块四包括第8-11单元，主要侧重建立语言系统框架下，以语法层面、语篇层面、修辞层面为核心的图文关系理论框架。第8单元侧重多模态衔接和图文关系。作者介绍了现有以衔接理论为基础建立的多模态图文关系框架，如基于页面的符际互补框架。这些框架虽然在概念意义层面肯定了图像和文本之间存在着类似于语言实体之间的关系，如重复、同义、反义、部分—整体和上下义搭配关系，但作者认为这些多模态衔接框架还存在诸多问题，譬如何识别并说明多模态衔接关系、假定的衔接关系和读者的理解过程是否一致、归纳出的衔接关系或图文关系对解读多模态意义的作用等。在第9单元中，作者基于现有的多模态隐喻研究，认为隐喻有能够连接不同领域的功能（如从源域向目标域进行属性转移），非常适用于解释信息在不同模态间流动的运作机制。鉴于隐喻和合成（Blending）是既有联系又有区别的两种概念，即前者具备定向属性转移且过程不可逆的特质，后者是可逆的。因此，作者认为多模态隐喻理论有助于理清多种模态结合后意义得到增值的原理，有助于说明图像和文本关系在意义建构过程中作用。第10单元是语法层面的图文关系建构。本章中，作者首先综述了前人依据系统功能语法中的及物性和小句关系建立的图文关系框架，认为此框架优点在于分类标准明确、体系具有封闭性。尽管如此，该框架也存在难以确定分析单位、忽视布局对多模态意义建构的影响、没能涵盖所有的图文关系等不足，并提出了针对性的建议和设想。第11单元从语篇层面对图文关系进行了解读。鉴于语言不是实现交际目标的唯一方式，语篇的不同成分如连接关系和修辞结构等可以共同作用，推动语篇实现特定的交际目标。随后作者介绍了以连接关系为基础的图文关系分类，以及多模态修辞结构理论（Rhetorical Structure Theory） 语篇分析法。但是作者认为前者面临划分标准不够精确和实证研究数据不足的问题；后者也面临一些挑战，譬如修辞结构分类多大程度上可以解释图文关系，RST分析方法针对的是线性符号模态（如文本），对于非线性、空间性的符号模态（如图像）的适用性问题等。 模块5包括第12-14单元。第12单元从语用学和交往行为角度考察了文本—图像关系的建构。作者发现从语言的角度研究视觉表征或图文关系面临诸多挑战，主要原因是由于图文关系缺少像句法、音系学、语音学这样具体明确的分析单位，也很难识别抽象的、脱离语境的形式特征。因此，研究从纯语言系统层面向语用学、视觉交际方向转向，更有利于关注图像的使用，而非图像的形式，从而有效弥补语言系统解读图文关系的不足。语用学能够有效解决多模态语篇中的图片关系类型；交际行为能够解决图文关系（即多模态交流）以外受众的接受过程。在第13单元中，作者介绍了探究图文关系所用到的实证研究方法，如眼球追踪技术（Eye-tracking methods）和语料库方法。前者可以用来探索读者对图文材料实际理解和接受过程，后者可以以大量实际数据为基础检测图文关系分类的信度和准确性。在第14单元中，作者总结了今后还有待研究的领域并提出了建议。
3.简评
本书有以下几个方面的特点：
第一，视角的广泛性。该书涉及的内容涵盖了社会符号学、视觉传播学、修辞学（针对广告和视觉劝说）、认知心理学（隐喻）等诸多方面。多模态分析对象种类多样，包括广告语篇、儿童图画书、漫画、新闻语篇、教科书，等等。作者将多模态文本—图文关系置于广泛的背景之下，有助于读者形成对图文关系全方位的认识，对从事多模态研究的学者来说是必不可少的参考书。
第二，内容的系统性。首先，内容全面完善，本书是一部聚焦图文关系的综述类文献，作者多学科多角度地介绍了现阶段国外图文关系的框架和模型，共介绍了Barthes、Kloepfer、North、Pegg、Spiller McQuarrie
继《多模态与体裁》（Multimodality and Genre）（2008）与《多模态电影分析》（Multimodal Film Analysis）（2012）之后，德国不莱梅大学应用英语语言学教授John A.Bateman于2014年隆重推出了由劳特利奇出版社出版的学术巨著《文本与图像：视觉和言语划界的批评性导论》（Text and Image： A critical introduction to the visual/verbal divide.）。该书从社会符号、视觉交际、话语的心理语言学方法、广告和视觉劝说及认知隐喻理论等多维视角，探讨了文本与图像关系的各种多模态分析方法，为英语语言和语言学、媒体传播学、视觉设计等研究提供了理论借鉴。
2.主要内容
全书共分三个部分，每个部分又分成不同的模块和单元。
第一部分是建立文本和图像的联系。这一部分由模块一及两个单元组成。在第1单元中，作者从多模态性和“意义增值”的关系出发，寻找建立文本与图像联系的基础。作者指出，文本和图像既非完全相似，又非截然不同，将文本和图像结合起来，可使两者在相似中融合、在差异中增值，从而建立两者之间的兼容和对话。为此，作者提出了构成全书基础的图文关系整体观，认为“文本和图像是一个二维及静态特质组成的合成体。在这个合成体中，文本和图像既是视觉实例，又是意图的共现”（P.28）。在第2单元中，作者以文本—图像结合所产生的意义类型为出发点，对文本与图像关系的研究进行了理论回顾。作者发现，自罗兰·巴特（Roland Barthes）将文本—图像关系划分为锚定、说明和传递这三种关系以来，文本—图像关系开始进入学术研究的领域。其中，系统功能语言学及其纯理功能思想正式确定了文本—图像的多模态意义建构关系，使视觉模式具备了语言的性质，也为视觉语法的建立奠定了理论基础。
第二部分聚焦视觉语境，探究在不同视觉语境中，文本—图像关系在实现多模态语篇的叙事功能（模块二）和劝说功能（模块三）中的途径与方法。模块二的主题是视觉叙事，包括第3-5单元。在第3单元中，作者引入了叙事学和语类两大理论框架，作为视觉叙事的理论基础。作者发现，聚焦、时间顺序和叙事角度等基本的语言叙事策略，可以拓展到非语言的模态。同样，不同语类的会呈现出独特的语言特征，语类所表现的语言特性同样适用于视觉模态。第4单元和第5单元分别聚焦儿童图画书和漫画。作为视觉叙事的两大典型语类，图画书和漫画存在许多相似点，作者对二者做了详细的区分，二者之间在图文的相对位置、距离，时间顺序的表现，以及同一页面图像数量等方面存在不同。作者认为，这些不同点会直接影响图文关系。在第4单元中，作者首先对儿童图画书语类涉及的实证和理论研究进行梳理，然后概括总结出儿童图画书这一语类中存在的图文关系的类型、可靠判断组合关系的标准，以及文本—图像关系对整体意义建构的作用（P.73）。在第5单元中，作者回顾了针对漫画语类的研究，介绍了Neil Cohn 和Thierry Groensteen两位学者的研究成果，并详述了前者提出的内在关系、相邻关系、独立关系、浮现关系四种图文关系（P.107）。
模块三是视觉劝说，包括视觉修辞（第6单元）和视觉劝说与广告（第7单元）。在第6单元中，作者首先介绍了传统修辞分类（包括结构性修辞与转义性修辞两大类），然后对现有修辞研究进行了梳理和总结，发现传统语言修辞逐渐扩展到视觉材料和语言—图像组合的分析中。作者认为以修辞概念为基础的文本—图像关系分类，在可靠性、关系识别和分类效果方面还有待进一步验证。第7单元是第6单元的延伸，即以广告语篇中视觉修辞的实证研究为基础，验证了将传统的修辞概念应用于视觉材料和图文组合分析的可行性与效果。
第三部分涉及具体图文关系的理论框架，由模块四和模块五组成。模块四包括第8-11单元，主要侧重建立语言系统框架下，以语法层面、语篇层面、修辞层面为核心的图文关系理论框架。第8单元侧重多模态衔接和图文关系。作者介绍了现有以衔接理论为基础建立的多模态图文关系框架，如基于页面的符际互补框架。这些框架虽然在概念意义层面肯定了图像和文本之间存在着类似于语言实体之间的关系，如重复、同义、反义、部分—整体和上下义搭配关系，但作者认为这些多模态衔接框架还存在诸多问题，譬如何识别并说明多模态衔接关系、假定的衔接关系和读者的理解过程是否一致、归纳出的衔接关系或图文关系对解读多模态意义的作用等。在第9单元中，作者基于现有的多模态隐喻研究，认为隐喻有能够连接不同领域的功能（如从源域向目标域进行属性转移），非常适用于解释信息在不同模态间流动的运作机制。鉴于隐喻和合成（Blending）是既有联系又有区别的两种概念，即前者具备定向属性转移且过程不可逆的特质，后者是可逆的。因此，作者认为多模态隐喻理论有助于理清多种模态结合后意义得到增值的原理，有助于说明图像和文本关系在意义建构过程中作用。第10单元是语法层面的图文关系建构。本章中，作者首先综述了前人依据系统功能语法中的及物性和小句关系建立的图文关系框架，认为此框架优点在于分类标准明确、体系具有封闭性。尽管如此，该框架也存在难以确定分析单位、忽视布局对多模态意义建构的影响、没能涵盖所有的图文关系等不足，并提出了针对性的建议和设想。第11单元从语篇层面对图文关系进行了解读。鉴于语言不是实现交际目标的唯一方式，语篇的不同成分如连接关系和修辞结构等可以共同作用，推动语篇实现特定的交际目标。随后作者介绍了以连接关系为基础的图文关系分类，以及多模态修辞结构理论（Rhetorical Structure Theory） 语篇分析法。但是作者认为前者面临划分标准不够精确和实证研究数据不足的问题；后者也面临一些挑战，譬如修辞结构分类多大程度上可以解释图文关系，RST分析方法针对的是线性符号模态（如文本），对于非线性、空间性的符号模态（如图像）的适用性问题等。 模块5包括第12-14单元。第12单元从语用学和交往行为角度考察了文本—图像关系的建构。作者发现从语言的角度研究视觉表征或图文关系面临诸多挑战，主要原因是由于图文关系缺少像句法、音系学、语音学这样具体明确的分析单位，也很难识别抽象的、脱离语境的形式特征。因此，研究从纯语言系统层面向语用学、视觉交际方向转向，更有利于关注图像的使用，而非图像的形式，从而有效弥补语言系统解读图文关系的不足。语用学能够有效解决多模态语篇中的图片关系类型；交际行为能够解决图文关系（即多模态交流）以外受众的接受过程。在第13单元中，作者介绍了探究图文关系所用到的实证研究方法，如眼球追踪技术（Eye-tracking methods）和语料库方法。前者可以用来探索读者对图文材料实际理解和接受过程，后者可以以大量实际数据为基础检测图文关系分类的信度和准确性。在第14单元中，作者总结了今后还有待研究的领域并提出了建议。
3.简评
本书有以下几个方面的特点：
第一，视角的广泛性。该书涉及的内容涵盖了社会符号学、视觉传播学、修辞学（针对广告和视觉劝说）、认知心理学（隐喻）等诸多方面。多模态分析对象种类多样，包括广告语篇、儿童图画书、漫画、新闻语篇、教科书，等等。作者将多模态文本—图文关系置于广泛的背景之下，有助于读者形成对图文关系全方位的认识，对从事多模态研究的学者来说是必不可少的参考书。
第二，内容的系统性。首先，内容全面完善，本书是一部聚焦图文关系的综述类文献，作者多学科多角度地介绍了现阶段国外图文关系的框架和模型，共介绍了Barthes、Kloepfer、North、Pegg、Spiller McQuarrie