论文部分内容阅读
摘要 本文旨在利用多模态的文本解释方式，为文学分析提供全新的视角，全方位多角度地对由多种符号组成的当代文学文本进行多模态分析，以期进一步拓展已有文学分析方法的内涵和外延，更加符合当前文学发展的趋势和要求。
关键词：多模态 多符号 文学文本 文学分析
在当今社会，科学技术的迅速发展和信息时代的到来使得多媒体技术被广泛应用于社会生活的各个领域，对于自然科学相关领域的影响自不待言，其亦为哲学、社会学、教育学、心理学、文学等社会人文科学的发展带来了巨大的变革。人类凭借纸张、网络等手段以及设备与其他社会成员进行交流，其所倚重的手段或设备即为媒体，在这一过程中，人类通常会调动视觉、听觉、触觉、嗅觉和味觉等多种感官，通过文字、图像、声音、气味等多种符号进行交际，这一现象即为模态。著名的多模态问题研究者Kress & van Leeuwen（1996）提出“多模态是指社会指意（social semiosis）的发生所经由的语言，文字，印刷和数字媒体，具体的行动和3D事物和场所。”随着人们对于多媒体技术的逐步认知，对于人类交际过程中的多模态现象的考量逐步进入人们的视线。作为表意的社会符号的集合，对于文学文本的多模态分析以及对于多模态文本的文学分析是必要的和必然的。长久以来，文学分析的范畴只局限于文字符号，但事实上，随着多媒体技术的发展，对于文学文本的多模态分析以及多模态文学文本的出现必然要求文学分析的相应变化。
根据多模态的内涵及外延，对于多模态可以从不同的角度加以区分，从人类交流手段的视角出发，多模态可以区分为视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态。同时，如考虑交流过程中所涉及到的各种符号，多模态可涉及图像、文字、声音、色彩、线条、手势、音乐、味道、接触和气味等多种符号模态。在文学文本中，文字符号是最普遍的符号系统，但决非唯一系统。如果仅将目光集中在文字符号本身，首先这脱离了文学分析的出发点和最终目的，文学分析决非对于文字符号编排规律的探讨，其中所涉及到的文学分析的主体、客体、认知、意境和心理照应等因素无不超出了文字符号系统本身的范畴，而涉及到多元的符号系统。此外，语言学在有关多符号和多模态等方面研究的发展也预示着对文学文本进行多符号和多模态分析的可能性。因此，在文学分析中，仅对文本的文字符号进行表意分析的做法已远远不能满足现代文学分析的要求，尤其是在针对视觉诗等涉及到多符号多模态的文学语篇进行分析时，多模态的分析方法更为实用。
一 文学意境中的多模态映射
狭义上的文学文本通常是以纸张为载体的文字符号的集合。在文学分析的过程中，对由文字符号所表达的意义和其中文本作者所传达的思想的理解，构成了文学分析的主要内容。因此，文学分析首先关系到文字符号模态的视觉模态分析。从这一角度出发，传统的文学分析可以被认为是一种单模态的符号及模态分析系统。但事实上，文学文本作者创作文本的初衷决非是单模态的。无论是作者的创作体验抑或者是读者的阅读体验多超出了视觉模态这一单一范畴。因此，单模态的文学分析方法无论从任何角度出发，均不可避免其片面性和局限性。在语言学领域，近年来，众多的语言学家也意识到了言语交际中的多模态现象，Van Leeuwen & Jewitt于2000年首次提出了“多模态语篇分析”的概念，开启了语篇分析的多模态视角。这也使得作为言语交际中的范例的文学文本的多模态分析成为可能。
作为文学分析中的重要内容，意境是文学作品借助文字符号所传达出来的意蕴和情境。意境首先起源于作者的现实体验，经由纸张上的文字符号传达给读者。首先，文学文本来源于作者的现实体验，这种体验与读者的体验方式相当，涉及到视觉、听觉、味觉、嗅觉和触觉等全部的模态形式，是多模态的体验集合。作者体验所获得的所有的模态符号通过作者的意识加工以文字符号的形式体现，再经由视觉模态符号进入读者所获得的意境范畴。在意境范畴中，读者结合本身的现实经验形成对于文学作品的体验，而这一体验同样是多模态的。也就是说，读者通过视觉符号获得信息，继而视觉模态映射到读者的意识范畴，在读者的意识中重新析出为视觉、听觉、味觉、嗅觉和触觉等多种模态的体验。在这一过程中，读者多模态的体验形式体现为间接体验。其多模态的体验形式具有个体差异性，同时，不同的读者的多模态体验与文学文本创作者的原始体验将产生不同程度的重合。这种重合程度的高低决定了文学文本的认知和解读程度。但鉴于作者和读者多模态体验方式和环境的差异，完全意义上的体验重合几乎是无法达到的。但毋庸置疑，对于文本的多模态解构和重组有助于对创作者创作意图的全方位的理解。
同时，即使就传统的文学文本的理解中也应引入多模态的概念。Hunston（1994）就曾指出，书面语中的意义识别不应只局限在文本层面，也应考虑如标点符号和首行缩进等来自视觉层面的暗示。Van Leeuwen（2005，2006）也曾关注印刷体式的意义潜势，从社会符号学的角度对其进行多模态解读。可以说，无论是从文本角度还是从意义解读的角度考虑，对于文学语篇的多模态分析都是必要且可行的。
二 视觉诗的多模态话语分析
在各类体裁的文学文本中，视觉诗（visual poetry）或称具象诗（concrete poetry）可以说最具有多模态话语分析的潜力。视觉诗是一种通过印刷形式所体现的意义潜势的集合。视觉诗在人类文明史上有着上千年的历史，如中国古代的配画诗、回文诗，以及美国现代诗人卡明斯（E.E.Cummings）等人的作品均属于这一范畴。视觉诗在视觉模态的体现方面注重视觉凸显的手段，运用前景化的方法，将文学符号以近似绘画的手法呈现，从而表达出超越文字符号本身的意蕴。视觉诗中的文字符号除其本身的表意功能外，还可通过对动作或者特征的表现，实现其概念功能。
在对视觉诗进行多模态的文学解读时，可借助于语言学的相关理论进行，其中由功能语言学发展而来的视觉语法对于视觉诗的解读具有重要的意义和作用。比照功能语言学中语篇分析涉及到的概念功能、人际功能和语篇功能，Kress & Van Leeuwen（1996）提出了视觉语法理论，主张在进行多模态话语分析时，可以从再现意义、互动意义和构图意义三方面加以考查。其中再现意义可以再进一步区分为叙事再现和概念再现；互动意义主要考虑文本构建者和所呈现内容之间的关系，是距离、视角和接触等三方面的共同作用；构图意义要遵循信息值、显著性和框架等三原则。视觉语法既适用于图片和文字相结合的多模态文本，也适用于由文字符号的不同组合所体现的多符号文本。以此为依据，在进行视觉诗的多模态语篇分析时，完全可以借助于视觉语法理论，分析语篇在再现意义、互动意义和构图意义三方面的独特特征。也就是说，在进行视觉诗的分析时，应综合运用视觉语法的相关内容，从视觉诗的再现意义、互动意义和构图意义加以分析，解析文本创造者在创造之初期待表达的概念集合。同时从距离、视角和接触三方面充分分析文本所传达的互动方式和互动意义。此外，可通过对视觉诗中图形所传递的信息值、其显著程度和框架构图方式对文本的构图方式进行分析，获得文本中的文字符号之外的多模态的符号解析。 三 多模态文学文本
随着现代科技的进步，文学文本本身也出现了多模态的发展趋势，展现出各种多模态的呈现方式。例如，目前在网络上普遍流行的与已有传统文学文本相搭配的三维动画，以及电影、电视剧等对文学作品进行呈现的多模态媒介，这些对于文学文本的不同解读方式在某种程度上为传统的读者提供了更多的理解空间。尤其是最近几年来不断涌现的网络文学，已彻底摆脱了纸质媒介，再加上多种模态方式的运用，已成为真正意义上的多模态文学文本。但是无论是文学文本的电子文本，还是作为立体文学形式出现的电影、电视剧等多模态形式，都无法与文学文本相剥离，都与传统的文学文本息息相关，不过是进一步扩大了其内涵及外延，将文学文本的研究引入了新的领域。
在对不同的多模态文学文本进行文学分析时，应避免两个极端的倾向。首先，不能仅仅局限于文字符号本身，而固守传统文学的定义，这无疑会妨碍全面分析文学文本的可能，尤其是在面对如网络文学等的电子文本时。现代科技的发展必然带来文学分析的新的方法和手段，必然要求文学分析的与时俱进。但同时，也应避免过度强调多模态化而淡化文字符号的趋势。如单纯就文学文本的多模态化呈现来说，即以原有文学文本为依据的电影、电视剧等多模态呈现方式，不同的模态呈现有助于进一步解读原有的文本，但同时由于文本解读者、语境解读者的变化，文学分析不再是由文本创造者直接到读者的简单的解读渠道，其中可能加入了既是读者又是再创作者的二级文本解读渠道。即使文本的最终解读者能够充分地解读文本最初创造者的意图，也只能达到无限接近，而不可能完全重合，甚至可能由于再创造者的加入导致读者对于文本原创作者创作意图的误读。因此，在多模态文学文本的解读过程中，应在传统文本分析的基础上，结合多模态的文本分析方法，充分考虑视觉、听觉、触觉、味觉和嗅觉等多模态的协同作用，全方位多角度的对多模态文学文本进行分析；也可以通过音频、视频等相应的分析软件或借助于网络软件等来完成。可以说，多模态的发展在很大程度上促进了文学分析的发展，也为文学文本的多模态意义重构提供了可能。
四 结语
随着现代科技的发展和网络的普及，文学分析必然随之发生相应的变化，使多模态的文学分析成为必然。多模态的相关理论在文本分析方面，无论是对于传统的文字符号，其中具有多模态特征的视觉诗还是新近涌现的多模态文学文本均具有较强的解释力。在文学分析中适当地结合多模态的文本分析方式，将有效地拓展文学分析的范畴，无论是对于读者还是对于文学批评家们均颇多裨益。
注：本文系黑龙江省教育厅2012年度人文社会科学（指导）项目成果，项目编号：12524028。
参考文献：
[1] 李战子：《多模态话语的社会符号分析》，《外语研究》，2003年第5期。
[2] Forceville，C.&E.Urios-Aparisi.Multimodal Metaphor[M].Berlin/New York：Mouton de Gruyter，2009：3.
[3] Hunston，S.1994.Evaluation and organizaion in a sample of written academic discourse [A].In Coulthard，M.（ed.）.Advances in Written Text Analysis [C].London：Routledge.
[4] Kress G，Van Leeuwen T.Reading Images：the Grammar of Visual Design [M].London：Routledge，1996：159-180.
[5] Van Leeuwen，T. & C.Jewitt.Handbook of Visual Analysis [M].London：Sage，2000.
[6] Van Leeuwen，T.Typographic Meaning [J].Visual Communication，2005，4（2）：137-143.
[7] Van Leeuwen，T.Towards a Semiotics of Typography [J].Information Design Journal，2006，14（2）：139-155.
（徐艳丽，东北林业大学外国语学院讲师；马晓华，东北林业大学外国语学院教授）
关键词：多模态 多符号 文学文本 文学分析
在当今社会，科学技术的迅速发展和信息时代的到来使得多媒体技术被广泛应用于社会生活的各个领域，对于自然科学相关领域的影响自不待言，其亦为哲学、社会学、教育学、心理学、文学等社会人文科学的发展带来了巨大的变革。人类凭借纸张、网络等手段以及设备与其他社会成员进行交流，其所倚重的手段或设备即为媒体，在这一过程中，人类通常会调动视觉、听觉、触觉、嗅觉和味觉等多种感官，通过文字、图像、声音、气味等多种符号进行交际，这一现象即为模态。著名的多模态问题研究者Kress & van Leeuwen（1996）提出“多模态是指社会指意（social semiosis）的发生所经由的语言，文字，印刷和数字媒体，具体的行动和3D事物和场所。”随着人们对于多媒体技术的逐步认知，对于人类交际过程中的多模态现象的考量逐步进入人们的视线。作为表意的社会符号的集合，对于文学文本的多模态分析以及对于多模态文本的文学分析是必要的和必然的。长久以来，文学分析的范畴只局限于文字符号，但事实上，随着多媒体技术的发展，对于文学文本的多模态分析以及多模态文学文本的出现必然要求文学分析的相应变化。
根据多模态的内涵及外延，对于多模态可以从不同的角度加以区分，从人类交流手段的视角出发，多模态可以区分为视觉模态、听觉模态、触觉模态、嗅觉模态和味觉模态。同时，如考虑交流过程中所涉及到的各种符号，多模态可涉及图像、文字、声音、色彩、线条、手势、音乐、味道、接触和气味等多种符号模态。在文学文本中，文字符号是最普遍的符号系统，但决非唯一系统。如果仅将目光集中在文字符号本身，首先这脱离了文学分析的出发点和最终目的，文学分析决非对于文字符号编排规律的探讨，其中所涉及到的文学分析的主体、客体、认知、意境和心理照应等因素无不超出了文字符号系统本身的范畴，而涉及到多元的符号系统。此外，语言学在有关多符号和多模态等方面研究的发展也预示着对文学文本进行多符号和多模态分析的可能性。因此，在文学分析中，仅对文本的文字符号进行表意分析的做法已远远不能满足现代文学分析的要求，尤其是在针对视觉诗等涉及到多符号多模态的文学语篇进行分析时，多模态的分析方法更为实用。
一 文学意境中的多模态映射
狭义上的文学文本通常是以纸张为载体的文字符号的集合。在文学分析的过程中，对由文字符号所表达的意义和其中文本作者所传达的思想的理解，构成了文学分析的主要内容。因此，文学分析首先关系到文字符号模态的视觉模态分析。从这一角度出发，传统的文学分析可以被认为是一种单模态的符号及模态分析系统。但事实上，文学文本作者创作文本的初衷决非是单模态的。无论是作者的创作体验抑或者是读者的阅读体验多超出了视觉模态这一单一范畴。因此，单模态的文学分析方法无论从任何角度出发，均不可避免其片面性和局限性。在语言学领域，近年来，众多的语言学家也意识到了言语交际中的多模态现象，Van Leeuwen & Jewitt于2000年首次提出了“多模态语篇分析”的概念，开启了语篇分析的多模态视角。这也使得作为言语交际中的范例的文学文本的多模态分析成为可能。
作为文学分析中的重要内容，意境是文学作品借助文字符号所传达出来的意蕴和情境。意境首先起源于作者的现实体验，经由纸张上的文字符号传达给读者。首先，文学文本来源于作者的现实体验，这种体验与读者的体验方式相当，涉及到视觉、听觉、味觉、嗅觉和触觉等全部的模态形式，是多模态的体验集合。作者体验所获得的所有的模态符号通过作者的意识加工以文字符号的形式体现，再经由视觉模态符号进入读者所获得的意境范畴。在意境范畴中，读者结合本身的现实经验形成对于文学作品的体验，而这一体验同样是多模态的。也就是说，读者通过视觉符号获得信息，继而视觉模态映射到读者的意识范畴，在读者的意识中重新析出为视觉、听觉、味觉、嗅觉和触觉等多种模态的体验。在这一过程中，读者多模态的体验形式体现为间接体验。其多模态的体验形式具有个体差异性，同时，不同的读者的多模态体验与文学文本创作者的原始体验将产生不同程度的重合。这种重合程度的高低决定了文学文本的认知和解读程度。但鉴于作者和读者多模态体验方式和环境的差异，完全意义上的体验重合几乎是无法达到的。但毋庸置疑，对于文本的多模态解构和重组有助于对创作者创作意图的全方位的理解。
同时，即使就传统的文学文本的理解中也应引入多模态的概念。Hunston（1994）就曾指出，书面语中的意义识别不应只局限在文本层面，也应考虑如标点符号和首行缩进等来自视觉层面的暗示。Van Leeuwen（2005，2006）也曾关注印刷体式的意义潜势，从社会符号学的角度对其进行多模态解读。可以说，无论是从文本角度还是从意义解读的角度考虑，对于文学语篇的多模态分析都是必要且可行的。
二 视觉诗的多模态话语分析
在各类体裁的文学文本中，视觉诗（visual poetry）或称具象诗（concrete poetry）可以说最具有多模态话语分析的潜力。视觉诗是一种通过印刷形式所体现的意义潜势的集合。视觉诗在人类文明史上有着上千年的历史，如中国古代的配画诗、回文诗，以及美国现代诗人卡明斯（E.E.Cummings）等人的作品均属于这一范畴。视觉诗在视觉模态的体现方面注重视觉凸显的手段，运用前景化的方法，将文学符号以近似绘画的手法呈现，从而表达出超越文字符号本身的意蕴。视觉诗中的文字符号除其本身的表意功能外，还可通过对动作或者特征的表现，实现其概念功能。
在对视觉诗进行多模态的文学解读时，可借助于语言学的相关理论进行，其中由功能语言学发展而来的视觉语法对于视觉诗的解读具有重要的意义和作用。比照功能语言学中语篇分析涉及到的概念功能、人际功能和语篇功能，Kress & Van Leeuwen（1996）提出了视觉语法理论，主张在进行多模态话语分析时，可以从再现意义、互动意义和构图意义三方面加以考查。其中再现意义可以再进一步区分为叙事再现和概念再现；互动意义主要考虑文本构建者和所呈现内容之间的关系，是距离、视角和接触等三方面的共同作用；构图意义要遵循信息值、显著性和框架等三原则。视觉语法既适用于图片和文字相结合的多模态文本，也适用于由文字符号的不同组合所体现的多符号文本。以此为依据，在进行视觉诗的多模态语篇分析时，完全可以借助于视觉语法理论，分析语篇在再现意义、互动意义和构图意义三方面的独特特征。也就是说，在进行视觉诗的分析时，应综合运用视觉语法的相关内容，从视觉诗的再现意义、互动意义和构图意义加以分析，解析文本创造者在创造之初期待表达的概念集合。同时从距离、视角和接触三方面充分分析文本所传达的互动方式和互动意义。此外，可通过对视觉诗中图形所传递的信息值、其显著程度和框架构图方式对文本的构图方式进行分析，获得文本中的文字符号之外的多模态的符号解析。 三 多模态文学文本
随着现代科技的进步，文学文本本身也出现了多模态的发展趋势，展现出各种多模态的呈现方式。例如，目前在网络上普遍流行的与已有传统文学文本相搭配的三维动画，以及电影、电视剧等对文学作品进行呈现的多模态媒介，这些对于文学文本的不同解读方式在某种程度上为传统的读者提供了更多的理解空间。尤其是最近几年来不断涌现的网络文学，已彻底摆脱了纸质媒介，再加上多种模态方式的运用，已成为真正意义上的多模态文学文本。但是无论是文学文本的电子文本，还是作为立体文学形式出现的电影、电视剧等多模态形式，都无法与文学文本相剥离，都与传统的文学文本息息相关，不过是进一步扩大了其内涵及外延，将文学文本的研究引入了新的领域。
在对不同的多模态文学文本进行文学分析时，应避免两个极端的倾向。首先，不能仅仅局限于文字符号本身，而固守传统文学的定义，这无疑会妨碍全面分析文学文本的可能，尤其是在面对如网络文学等的电子文本时。现代科技的发展必然带来文学分析的新的方法和手段，必然要求文学分析的与时俱进。但同时，也应避免过度强调多模态化而淡化文字符号的趋势。如单纯就文学文本的多模态化呈现来说，即以原有文学文本为依据的电影、电视剧等多模态呈现方式，不同的模态呈现有助于进一步解读原有的文本，但同时由于文本解读者、语境解读者的变化，文学分析不再是由文本创造者直接到读者的简单的解读渠道，其中可能加入了既是读者又是再创作者的二级文本解读渠道。即使文本的最终解读者能够充分地解读文本最初创造者的意图，也只能达到无限接近，而不可能完全重合，甚至可能由于再创造者的加入导致读者对于文本原创作者创作意图的误读。因此，在多模态文学文本的解读过程中，应在传统文本分析的基础上，结合多模态的文本分析方法，充分考虑视觉、听觉、触觉、味觉和嗅觉等多模态的协同作用，全方位多角度的对多模态文学文本进行分析；也可以通过音频、视频等相应的分析软件或借助于网络软件等来完成。可以说，多模态的发展在很大程度上促进了文学分析的发展，也为文学文本的多模态意义重构提供了可能。
四 结语
随着现代科技的发展和网络的普及，文学分析必然随之发生相应的变化，使多模态的文学分析成为必然。多模态的相关理论在文本分析方面，无论是对于传统的文字符号，其中具有多模态特征的视觉诗还是新近涌现的多模态文学文本均具有较强的解释力。在文学分析中适当地结合多模态的文本分析方式，将有效地拓展文学分析的范畴，无论是对于读者还是对于文学批评家们均颇多裨益。
注：本文系黑龙江省教育厅2012年度人文社会科学（指导）项目成果，项目编号：12524028。
参考文献：
[1] 李战子：《多模态话语的社会符号分析》，《外语研究》，2003年第5期。
[2] Forceville，C.&E.Urios-Aparisi.Multimodal Metaphor[M].Berlin/New York：Mouton de Gruyter，2009：3.
[3] Hunston，S.1994.Evaluation and organizaion in a sample of written academic discourse [A].In Coulthard，M.（ed.）.Advances in Written Text Analysis [C].London：Routledge.
[4] Kress G，Van Leeuwen T.Reading Images：the Grammar of Visual Design [M].London：Routledge，1996：159-180.
[5] Van Leeuwen，T. & C.Jewitt.Handbook of Visual Analysis [M].London：Sage，2000.
[6] Van Leeuwen，T.Typographic Meaning [J].Visual Communication，2005，4（2）：137-143.
[7] Van Leeuwen，T.Towards a Semiotics of Typography [J].Information Design Journal，2006，14（2）：139-155.
（徐艳丽，东北林业大学外国语学院讲师；马晓华，东北林业大学外国语学院教授）