论文部分内容阅读
〔摘要〕数字教材是教育信息化革命的产物，是外语教学的重要资源载体。研究以国家开放大学公共英语课程多媒体数字教材《人文英语》为语料，运用社会符号学和多模态话语分析的相关理论，围绕多模态语篇作者的符号实践、外语教学语境中的社会实践两个维度，从概念意义建构、人际意义建构、模态间关系三个方面进行深入阐释，并提出研究对我国EFL教学的启示。
〔关键词〕数字教材; 社会符号学; 多模态话语分析; 设计; 多元读写教学法
〔中图分类号〕G434; H1953〔文献标识码〕A〔文章编号〕1008-2689（2021）02-0154-06
数字革命始于20世纪50年代末，信息技术的日益广泛应用改变了传统的思维模式和交际方式，也因此对教育产生深远的影响，数字教材应运而生。从纸质教材到数字教材的演变，不仅印证了教育信息化发展进步的轨迹，也反映了人类社会知识观和学习理论的演进史。从20世纪60年代的行为主义到80年代的认知主义，直至80年代中期以后向社会建构主义转型，都推动了数字教材的不断开发和完善[1]。
数字教材是集合了教科书、音声、静物画、动画和影片等多种表达方式的多媒体信息形态的教材，综合了旨在实现教育目标而数字化的学习素材与管理学习过程的信息学习系统[2]。数字教材是教育信息化革命的产物，是外语教学的重要资源载体。迄今，数字教材呈现静态媒体、多媒体及富媒体三种发展形态，它具有直观性、即时性、多模态、开放共享和动态交互等特性。从静态超文本的教育信息化10，过渡到社交媒体的网络计算和社会参与网络为主的教育20时代，直至迈入以云计算和全球互联网为特征的教育30 ，数字教材的开发和研究引发学界的广泛关注和兴趣。
本研究聚焦国家开放大学英语教研团队编写的全媒体数字教材——公共英语系列教材之《人文英语》（1～4册），该教材主要面向开放大学系统、职业院校的在校生和职场人士。团队开发并推出数字阅读云平台——“开放云书院”，学习者下载客户端扫描二维码，即可获取数字教材和学习资源，体验移动学习的魅力。本文拟从多模态社会符号学的理论视角对数字教材进行多模态话语分析，并借鉴“新伦敦学派”（以下简称NLG）的多元读写教学法，提出对外语教学实践的指导建议。本研究拟回答以下问题：
（1） 数字教材多模态语篇作者的符号实践如何建构学科知识？建构了怎样的社会关系？
（2） 语篇作者运用了哪些模态和符号资源？不同模态间的关系怎样？
（3） 如何利用数字教材的技术优势开展EFL教学？
一、 文献回顾
（一） 数字教材的国内外研究现状
笔者梳理现有文献发现，国外学者着重从教学改革、学习者、教师和教育技术四个维度开展研究。Kim & Jung[3]探讨了教育技术融合背景下韩国数字教材的教学改革面临的机遇、挑战及教改实施模式，研究表明教材对学生的影响与地域、学习者的学业水平相关。欧洲和亚洲学者主要从学习者的视角出发，围绕数字教材的学习效果[4-8]和学习策略[9-10]展开讨论，也有欧美学者从教师维度开展研究[11-12]。Railean[13]博士在他的专著User Interface Design of Digital Textbooks中，从回顾教育技术的发展历程入手，运用数字学习理论探讨了数字教材用户界面的设计原则和模式，对推动数字教材的开发应用有较强的指导和应用价值。相比之下，国内学者更偏重于从教材的数字化出版[14-15]、教材开发建设与发展[16-18]、教师的技术接受度[19-20]和教学改革实践[21]等方面进行探讨。Gu[22]采用文献研读法，对数字教材的国内外研究、各国项目报告和使用案例、使用影响因素和学习效果研究等进行了较全面的回顾、梳理和展望，该综述性研究具有较高的学术价值和较强的实践指导意义。
综上，国内外学者在对数字教材的研究总体上呈平稳上升趋势，研究兴趣既涵盖共同关心的热点领域，如教学改革、教师研究等，又表现出各自的偏好和侧重。从研究方法看，既有偏理论的思辨性研究，也有重实践应用的实证性研究，但缺乏从社会符号学角度对数字教材多模态语篇的意义建构及符号实践进行探究，且对我国外语教师使用数字教材开展EFL教学方法的探讨也语焉不详，这正是本研究亟待解决的问题。
（二） 英语教材的多模态话语研究
Bezeman & Kress[23]运用历时研究方法，分析了国外中学英语教材的多模态设計，并从社会符号学视角阐释了70年间英语教科书发生的深刻变化。Chen[24]运用多模态话语分析和评价语义系统框架，分析中小学EFL课程大纲中的情感、态度的多模态符号意义建构及个体语义发生的“再语境化”;王琴[25]以美国语文教材——《Treasures》为语料，运用系统功能语言学和社会符号学理论，探讨教材中的人际符号资源及符号设计原则，揭示教材编写者如何挖掘多模态意义潜势与读者互动;Feng[26]在社会符号学和评价系统的框架下，探讨香港中小学EFL教材中道德价值观的多模态话语建构及道德价值观在教材中的分布规律。
上述文献中英语教材的多模态研究均以传统纸质教材为研究对象，而对数字教材鲜有关注;教材的受众也多以中小学生为主，而对以成人EFL学习者为受众的教材研究少有涉足。本文将从社会符号学的理论视角审视数字教材的多模态话语建构，并结合多元读写教学法，探讨数字教材对我国EFL教学的启示。
二、 理论基础
（一） 社会符号学：意义、符号和模态设计
社会符号学是对符号系统如何在社会语境中生成意义的功能研究，它关注在特定社会文化语境的社会交际中生成的意义。符号是符号学的核心单位，是形式和意义的融合。区别于皮尔斯的普通符号学和索绪尔的符号观，Kress的社会符号学[27]10认为，符号是社团成员在社会交际中产生的，符号的形式和意义之间的关系不是任意的，而是由符号制造者的兴趣决定。符号的形式和意义之间存在“动机”（motivated）关系，并强调两者之间的适合性（aptness）。符号系统是交际过程中意义生成的资源。处在一定社会语境中的个体，利用特定社会文化中可资获得的符号资源，主动参与符号制造和社会交际过程。 Kress 的社会符号学理论融合了Halliday关于“语言作为社会符号的观点”，发展并创立旨在解释所有符号意义生成和传播的符号学理论。根据Halliday[28]的符号学方法，一个完整的交际理论需要表征概念功能（ideational function），即经验世界的行为、状态和事件;人际功能（interpersonal function），即交际参与者的社会关系;以及组篇功能（textual function），语篇局部以及语篇与语境之间的整体连贯。每种符号资源所做的选择同时实现三大元功能并整合其意义。所有模态，如姿势、动作和视觉模态等，如同语言，都是在社会使用过程中形成社会资源的模态[29]。每个模态系统在整个话语意义表达中都扮演着独特角色，它们在交际过程话语整体意义的建构中是互补的[30]。
设计是社会符号学的核心概念。在语篇交际中，设计可理解为“修辞者把自己对交际环境的评估转化为符号学塑造的物质的过程”。Kress以“土豆削皮器”为例，提出“设计是对一系列社会关系、社会实践以及目的、任务、目标、情感组成的结构体集合的安排”的观点。设计体现、投射和建构社会关系，每一个语篇的设计都是从符号资源意义潜势构成的意义网络中选择的结果[27]132-137。
多模态设计，是指运用不同符号模态，如图像、文字、色彩和布局去展现、体现及重新语境化社会关系和社会地位，为特定受众呈现关于经验世界的知识体系。设计体现和投射社会关系，并受社会和技术变化的影响和塑造[27]139。本文所指的多模态设计主要是从数字教材开发者及设计者的视角，故下文采纳Kress的定义。
（二） 多模态话语分析（MDA）
MDA主要是在Halliday创立的系统功能语言学理论基础上发展起来的。具体地说， 系统功能语言学关于“语言是社会符号、语言是意义潜势（ Meaning Potential）系统、纯理功能假说（Metafunction Hypothesis）、语篇是语言系统的实例化、语言层级间的‘体现’以及语境思想”的论述，对于多模态话语分析理论框架的不断完善具有十分重要的借鉴意义。因篇幅所限，此处不再累述。
朱永生[31]84-85認为，要正确解读多模态话语的意义， 至少须要厘清两方面的关系：一是确定不同成分之间的语法关系，如从三大元功能分析图像等视觉符号的语义关系;二是要弄清不同模态，例如文字、图像、动画和音乐之间的关系。Barth[32]认为图文之间有锚定、阐释和接续三种关系，Martinec& Salway[33]在相互依赖关系上区分平等与不平等关系、图文逻辑语义关系被概括为投射和扩展两类，Royce [34]从概念意义和人际意义关系的角度研究不同意义间的互补关系。然而，上述的研究框架只适用于图文关系，且较为粗略，在分析中难免会出现模棱两可、难以界定的情况。张德禄[35-36]对多模态话语中模态间关系进行了更加深入的研究，认为还需区分互补关系和非互补关系。在互补关系中，区分强化关系和非强化关系，前者包括突出、主次和扩充;后者包括交叉、联合和协调。而非互补关系可区分为交叠、内包和语境交互三子类，该分析框架详见图1[35]27。
三、 数字教材的多模态话语分析
笔者选取国家开放大学英语教研团队编写的公共英语多媒体数字系列教材之《人文英语》（1～4册）为语料。语料采用“册-单元-页码”的顺序标注，例如“B1-U1-P4”，即“第1册第1单元第4页”（下同）。下面将围绕多模态语篇意义制造者的符号实践、教学语境中的社会实践两个维度，从教育多模态语篇的概念意义建构、人际意义建构、模态间关系三个方面进行深入分析和阐释。
（一） 数字多模态教育语篇的学科知识建构
学科是知识和经验的结合，学科知识建构离不开对经验世界的行为、状态和事件的描写与阐释，知识和经验两者相互交织，共同作用于学科体系的构建。下文所讨论的数字教材多模态语篇的概念意义将聚焦语篇作者如何建构语言学科知识。
传统纸质教材的编排依据话题内容将学科知识按学习时间的先后顺序进行线性排列，传统的语言教学通常也是遵循纸质教材的编写顺序开展教学。就概念意义而言，数字教材突出每个单元主题知识结构的层级性，字体、字号和颜色都成为符号设计可资利用的资源。
学习界面显示，粗体文字用来表示每一单元的根目录，如“Learning Objectives” “Listening & Speaking”“Reading & Writing”，根目录下面的子目录字体相对较细，字号略小;知识结构的排列呈横向和纵向排列，横向排列的项目在任务类型和难度上具有相似性，均属于同一语言技能导向的语篇，如听说技能、阅读技能等;纵向排列由上至下按照语言知识从抽象到具体、从输入性到输出型语言技能的顺序排列，学习任务难度依次递增。
读者点击橙色按钮，即可打开下拉菜单，浏览具体语言功能对应的句法结构，符号设计者将语言系统的语义层与词汇语法层的抽象“体现”（Realization）关系以下拉菜单式嵌入结构方式呈现。此外，颜色也是具有概念意义表征的模态，紫色代表一级目录或根目录，如篇章标题或题目说明以及语言文化方面的核心知识点;黑色表示根目录下面的子目录或二级目录，如文章正文、功能句型范例和语法讲解，是更详细具体的知识点;鲜艳的橙色用来表达“可选择”“可参考”或者“可控制”的概念意义，主要交际目的在于提醒、提示和启发学习者。
（二） 数字多模态教育语篇的人际关系建构
教育技术重塑了数字教材的多模态话语。传统纸质课本为载体的课堂教学主要以教师为中心，教师主导学习进度、掌握学生的学习情况，统一步调;而数字教材的设计更加符合“以学生为中心”的教学组织原则，学生可以自由选择学习内容、学习进度和阅读路径，以及学习互动和评价方式，有助于最大限度激发学习者的学习自主性，发挥学习者主观能动性。 [10]BIKOWSKI D & CASAL E. Interactive digital textbooks and engagement： a learning strategies framework [J]. Language Learning & Technology， 2018， 22（1）： 119136.
[11]KNIGHT B A. Teachers use of textbooks in the digital age [J]. Cogent Education， 2015， 2（1）： 110.
[12] LINDQVIST M H. Talking about digital textbooks. The teacher perspective [J]. CampusWide Information Systems， 2019， 36（3）： 254265.
[13] RAILEAN E. User Interface Design of Digital Textbooks： How Screens Affect Learning [M]. Singapore： Springer Nature Singapore Pte Ltd， 2017.
[14]王栋. “互联网+”时代高校外语教材数字化出版[J]. 出版广角， 2017（21）： 7577.
[15] 张丹. 数字教育出版的发展研究——基于教育信息化2.0时代的背景[J]. 出版广角， 2019（23）： 4042.
[16] 张桐， 杨孝堂， 杜若. 远程教育全媒体数字教材发展与创新[J]. 中国电化教育， 2017（3）： 138142.
[17] 杜若， 张晓英， 陈桄. 学习活动设计问题分析与交互式数字教材建设[J]. 中国远程教育， 2018（8）： 5462.
[18] 韦铀. 高校数字教育生态构建下的数字教材建设[J]. 出版广角， 2019（12）： 3336.
[19] 宋伟， 孙众. 数字教材环境下小学教师TPACK与自我效能感、技术接受度的关系——一项结构方程分析[J]. 中国远程教育， 2014（9）： 3946.
[20] 尤佳鑫， 孙众， 宋伟. 数字教材的技术接受度与教师TPACK能力的相关分析——基于结构方程模型的实证研究[J]. 电化教育研究， 2014， 35（11）： 102108.
[21] 彭雪庄. 教育信息化2.0时代优质数字教育资源普及模式探究——以广东省数字教材规模化应用调研为例[J]. 中国电化教育， 2018（9）： 138146.
[22] GU X， WU B & XU X. Design， development， and learning in etextbooks： what we have earned and where we are going [J]. Journal of Computers in Education， 2015， 2（1）： 2541.
[23]BEZEMER J， KRESS G. Visualizing English： a social semiotic history of a school subject [J]. Visual Communication， 2009， 8（3）： 247262.
[24]CHEN Y. The semiotic construal of attitudinal curriculum goals： evidence from EFL textbooks in China [J]. Linguistics and Education， 2010， 21（1）： 6074.
[25] 王琴. 教科書人际意义的社会符号学探究[J]. 东莞理工学院学报， 2016， 23（6）： 8186.
[26] FENG W D. Infusing moral education into English language teaching： an ontogenetic analysis of social values in EFL textbooks in Hong Kong [J]. Discourse： Studies in the Cultural Politics of Education， 2019， 40（4）： 458473.
[27] KRESS G R. Multimodality： A Social Semiotic Approach to Contemporary Communication [M]. London， New York： Taylor & Francis Group， 2010.
[28] HALLIDAY M A K. Language as Social Semiotic： The Social Interpretation of Language and Meaning [M]. Beijing： Foreign Language Teaching and Research Press， 2001.
[29] KRESS G & VAN L T. Multimodal Discourse： The Modes and Media of Contemporary Communication [M]. London： Bloomsbury Academic， 2001. [30] 张德禄. 系统功能理论视阈下的多模态话语分析综合框架[J]. 现代外语， 2018， 41（6）： 731743.
[31] 朱永生. 多模态话语分析的理论基础与研究方法[J]. 外语学刊， 2007（5）： 8286.
[32] BARTHES R. Introduction to structural analysis of narratives [C] Edited by BARTHES R. Image， Music， Text. London： Fontana Press， 1977： 79133.
[33] MARTINEC R & SALWAY A. A system for imagetext relations in new （and old） media [J]. Visual Communicaton， 2005， 4（3）： 337371.
[34] ROYCE T. Synergy on the page： exploring intersemiotic complementarity in pagebased multimodal text [J]. JASFL Occasional Papers， 1998， 1（1）： 2549.
[35] 张德禄. 多模态话语分析综合理论框架探索[J]. 中国外语， 2009， 6（1）： 2430.
[36]The New London Group. A pedagogy of multiliteracies： designing social futures [J]. Harvard Educational Review， 1996， 66（1）： 6093.
Exploring the Multimodal Semiotic Design of EFL Digital Textbook：
A Case Study on “English for the Humanities”
WANG Qin
（Foshan Open University， Foshan 528000， China）Abstract： Digital textbook emerged as a result of the information technology revolution， it serves as an important medium of EFL learning and teaching resources. Taking ‘English for the Humanities’—a collection of digital textbook as the corpus， the present study aims to conduct a multimodal discourse analysis in terms of the semiotic and social practice of both textbook writers and readers. It concludes with some pedagogical implications for EFL instruction.
Key words： digital textbook; Social Semiotics; MDA; design; multiliteracies pedagogy
〔收稿時间〕 2020-09-06
〔基金项目〕 国家开放大学2018年规划重点课题“国家开放大学公共英语多模态教学模式研究”（编号： G18A00）子课题“基于
在线学习平台的公共英语多模态教学研究” ;广东开放大学2018年度社区教育专项课题“英语口语混合式教学模式实践探索”（编号： SJ1805）。
〔作者简介〕 王琴（1977—），女，湖北荆州人，佛山开放大学外语系副教授。
〔关键词〕数字教材; 社会符号学; 多模态话语分析; 设计; 多元读写教学法
〔中图分类号〕G434; H1953〔文献标识码〕A〔文章编号〕1008-2689（2021）02-0154-06
数字革命始于20世纪50年代末，信息技术的日益广泛应用改变了传统的思维模式和交际方式，也因此对教育产生深远的影响，数字教材应运而生。从纸质教材到数字教材的演变，不仅印证了教育信息化发展进步的轨迹，也反映了人类社会知识观和学习理论的演进史。从20世纪60年代的行为主义到80年代的认知主义，直至80年代中期以后向社会建构主义转型，都推动了数字教材的不断开发和完善[1]。
数字教材是集合了教科书、音声、静物画、动画和影片等多种表达方式的多媒体信息形态的教材，综合了旨在实现教育目标而数字化的学习素材与管理学习过程的信息学习系统[2]。数字教材是教育信息化革命的产物，是外语教学的重要资源载体。迄今，数字教材呈现静态媒体、多媒体及富媒体三种发展形态，它具有直观性、即时性、多模态、开放共享和动态交互等特性。从静态超文本的教育信息化10，过渡到社交媒体的网络计算和社会参与网络为主的教育20时代，直至迈入以云计算和全球互联网为特征的教育30 ，数字教材的开发和研究引发学界的广泛关注和兴趣。
本研究聚焦国家开放大学英语教研团队编写的全媒体数字教材——公共英语系列教材之《人文英语》（1～4册），该教材主要面向开放大学系统、职业院校的在校生和职场人士。团队开发并推出数字阅读云平台——“开放云书院”，学习者下载客户端扫描二维码，即可获取数字教材和学习资源，体验移动学习的魅力。本文拟从多模态社会符号学的理论视角对数字教材进行多模态话语分析，并借鉴“新伦敦学派”（以下简称NLG）的多元读写教学法，提出对外语教学实践的指导建议。本研究拟回答以下问题：
（1） 数字教材多模态语篇作者的符号实践如何建构学科知识？建构了怎样的社会关系？
（2） 语篇作者运用了哪些模态和符号资源？不同模态间的关系怎样？
（3） 如何利用数字教材的技术优势开展EFL教学？
一、 文献回顾
（一） 数字教材的国内外研究现状
笔者梳理现有文献发现，国外学者着重从教学改革、学习者、教师和教育技术四个维度开展研究。Kim & Jung[3]探讨了教育技术融合背景下韩国数字教材的教学改革面临的机遇、挑战及教改实施模式，研究表明教材对学生的影响与地域、学习者的学业水平相关。欧洲和亚洲学者主要从学习者的视角出发，围绕数字教材的学习效果[4-8]和学习策略[9-10]展开讨论，也有欧美学者从教师维度开展研究[11-12]。Railean[13]博士在他的专著User Interface Design of Digital Textbooks中，从回顾教育技术的发展历程入手，运用数字学习理论探讨了数字教材用户界面的设计原则和模式，对推动数字教材的开发应用有较强的指导和应用价值。相比之下，国内学者更偏重于从教材的数字化出版[14-15]、教材开发建设与发展[16-18]、教师的技术接受度[19-20]和教学改革实践[21]等方面进行探讨。Gu[22]采用文献研读法，对数字教材的国内外研究、各国项目报告和使用案例、使用影响因素和学习效果研究等进行了较全面的回顾、梳理和展望，该综述性研究具有较高的学术价值和较强的实践指导意义。
综上，国内外学者在对数字教材的研究总体上呈平稳上升趋势，研究兴趣既涵盖共同关心的热点领域，如教学改革、教师研究等，又表现出各自的偏好和侧重。从研究方法看，既有偏理论的思辨性研究，也有重实践应用的实证性研究，但缺乏从社会符号学角度对数字教材多模态语篇的意义建构及符号实践进行探究，且对我国外语教师使用数字教材开展EFL教学方法的探讨也语焉不详，这正是本研究亟待解决的问题。
（二） 英语教材的多模态话语研究
Bezeman & Kress[23]运用历时研究方法，分析了国外中学英语教材的多模态设計，并从社会符号学视角阐释了70年间英语教科书发生的深刻变化。Chen[24]运用多模态话语分析和评价语义系统框架，分析中小学EFL课程大纲中的情感、态度的多模态符号意义建构及个体语义发生的“再语境化”;王琴[25]以美国语文教材——《Treasures》为语料，运用系统功能语言学和社会符号学理论，探讨教材中的人际符号资源及符号设计原则，揭示教材编写者如何挖掘多模态意义潜势与读者互动;Feng[26]在社会符号学和评价系统的框架下，探讨香港中小学EFL教材中道德价值观的多模态话语建构及道德价值观在教材中的分布规律。
上述文献中英语教材的多模态研究均以传统纸质教材为研究对象，而对数字教材鲜有关注;教材的受众也多以中小学生为主，而对以成人EFL学习者为受众的教材研究少有涉足。本文将从社会符号学的理论视角审视数字教材的多模态话语建构，并结合多元读写教学法，探讨数字教材对我国EFL教学的启示。
二、 理论基础
（一） 社会符号学：意义、符号和模态设计
社会符号学是对符号系统如何在社会语境中生成意义的功能研究，它关注在特定社会文化语境的社会交际中生成的意义。符号是符号学的核心单位，是形式和意义的融合。区别于皮尔斯的普通符号学和索绪尔的符号观，Kress的社会符号学[27]10认为，符号是社团成员在社会交际中产生的，符号的形式和意义之间的关系不是任意的，而是由符号制造者的兴趣决定。符号的形式和意义之间存在“动机”（motivated）关系，并强调两者之间的适合性（aptness）。符号系统是交际过程中意义生成的资源。处在一定社会语境中的个体，利用特定社会文化中可资获得的符号资源，主动参与符号制造和社会交际过程。 Kress 的社会符号学理论融合了Halliday关于“语言作为社会符号的观点”，发展并创立旨在解释所有符号意义生成和传播的符号学理论。根据Halliday[28]的符号学方法，一个完整的交际理论需要表征概念功能（ideational function），即经验世界的行为、状态和事件;人际功能（interpersonal function），即交际参与者的社会关系;以及组篇功能（textual function），语篇局部以及语篇与语境之间的整体连贯。每种符号资源所做的选择同时实现三大元功能并整合其意义。所有模态，如姿势、动作和视觉模态等，如同语言，都是在社会使用过程中形成社会资源的模态[29]。每个模态系统在整个话语意义表达中都扮演着独特角色，它们在交际过程话语整体意义的建构中是互补的[30]。
设计是社会符号学的核心概念。在语篇交际中，设计可理解为“修辞者把自己对交际环境的评估转化为符号学塑造的物质的过程”。Kress以“土豆削皮器”为例，提出“设计是对一系列社会关系、社会实践以及目的、任务、目标、情感组成的结构体集合的安排”的观点。设计体现、投射和建构社会关系，每一个语篇的设计都是从符号资源意义潜势构成的意义网络中选择的结果[27]132-137。
多模态设计，是指运用不同符号模态，如图像、文字、色彩和布局去展现、体现及重新语境化社会关系和社会地位，为特定受众呈现关于经验世界的知识体系。设计体现和投射社会关系，并受社会和技术变化的影响和塑造[27]139。本文所指的多模态设计主要是从数字教材开发者及设计者的视角，故下文采纳Kress的定义。
（二） 多模态话语分析（MDA）
MDA主要是在Halliday创立的系统功能语言学理论基础上发展起来的。具体地说， 系统功能语言学关于“语言是社会符号、语言是意义潜势（ Meaning Potential）系统、纯理功能假说（Metafunction Hypothesis）、语篇是语言系统的实例化、语言层级间的‘体现’以及语境思想”的论述，对于多模态话语分析理论框架的不断完善具有十分重要的借鉴意义。因篇幅所限，此处不再累述。
朱永生[31]84-85認为，要正确解读多模态话语的意义， 至少须要厘清两方面的关系：一是确定不同成分之间的语法关系，如从三大元功能分析图像等视觉符号的语义关系;二是要弄清不同模态，例如文字、图像、动画和音乐之间的关系。Barth[32]认为图文之间有锚定、阐释和接续三种关系，Martinec& Salway[33]在相互依赖关系上区分平等与不平等关系、图文逻辑语义关系被概括为投射和扩展两类，Royce [34]从概念意义和人际意义关系的角度研究不同意义间的互补关系。然而，上述的研究框架只适用于图文关系，且较为粗略，在分析中难免会出现模棱两可、难以界定的情况。张德禄[35-36]对多模态话语中模态间关系进行了更加深入的研究，认为还需区分互补关系和非互补关系。在互补关系中，区分强化关系和非强化关系，前者包括突出、主次和扩充;后者包括交叉、联合和协调。而非互补关系可区分为交叠、内包和语境交互三子类，该分析框架详见图1[35]27。
三、 数字教材的多模态话语分析
笔者选取国家开放大学英语教研团队编写的公共英语多媒体数字系列教材之《人文英语》（1～4册）为语料。语料采用“册-单元-页码”的顺序标注，例如“B1-U1-P4”，即“第1册第1单元第4页”（下同）。下面将围绕多模态语篇意义制造者的符号实践、教学语境中的社会实践两个维度，从教育多模态语篇的概念意义建构、人际意义建构、模态间关系三个方面进行深入分析和阐释。
（一） 数字多模态教育语篇的学科知识建构
学科是知识和经验的结合，学科知识建构离不开对经验世界的行为、状态和事件的描写与阐释，知识和经验两者相互交织，共同作用于学科体系的构建。下文所讨论的数字教材多模态语篇的概念意义将聚焦语篇作者如何建构语言学科知识。
传统纸质教材的编排依据话题内容将学科知识按学习时间的先后顺序进行线性排列，传统的语言教学通常也是遵循纸质教材的编写顺序开展教学。就概念意义而言，数字教材突出每个单元主题知识结构的层级性，字体、字号和颜色都成为符号设计可资利用的资源。
学习界面显示，粗体文字用来表示每一单元的根目录，如“Learning Objectives” “Listening & Speaking”“Reading & Writing”，根目录下面的子目录字体相对较细，字号略小;知识结构的排列呈横向和纵向排列，横向排列的项目在任务类型和难度上具有相似性，均属于同一语言技能导向的语篇，如听说技能、阅读技能等;纵向排列由上至下按照语言知识从抽象到具体、从输入性到输出型语言技能的顺序排列，学习任务难度依次递增。
读者点击橙色按钮，即可打开下拉菜单，浏览具体语言功能对应的句法结构，符号设计者将语言系统的语义层与词汇语法层的抽象“体现”（Realization）关系以下拉菜单式嵌入结构方式呈现。此外，颜色也是具有概念意义表征的模态，紫色代表一级目录或根目录，如篇章标题或题目说明以及语言文化方面的核心知识点;黑色表示根目录下面的子目录或二级目录，如文章正文、功能句型范例和语法讲解，是更详细具体的知识点;鲜艳的橙色用来表达“可选择”“可参考”或者“可控制”的概念意义，主要交际目的在于提醒、提示和启发学习者。
（二） 数字多模态教育语篇的人际关系建构
教育技术重塑了数字教材的多模态话语。传统纸质课本为载体的课堂教学主要以教师为中心，教师主导学习进度、掌握学生的学习情况，统一步调;而数字教材的设计更加符合“以学生为中心”的教学组织原则，学生可以自由选择学习内容、学习进度和阅读路径，以及学习互动和评价方式，有助于最大限度激发学习者的学习自主性，发挥学习者主观能动性。 [10]BIKOWSKI D & CASAL E. Interactive digital textbooks and engagement： a learning strategies framework [J]. Language Learning & Technology， 2018， 22（1）： 119136.
[11]KNIGHT B A. Teachers use of textbooks in the digital age [J]. Cogent Education， 2015， 2（1）： 110.
[12] LINDQVIST M H. Talking about digital textbooks. The teacher perspective [J]. CampusWide Information Systems， 2019， 36（3）： 254265.
[13] RAILEAN E. User Interface Design of Digital Textbooks： How Screens Affect Learning [M]. Singapore： Springer Nature Singapore Pte Ltd， 2017.
[14]王栋. “互联网+”时代高校外语教材数字化出版[J]. 出版广角， 2017（21）： 7577.
[15] 张丹. 数字教育出版的发展研究——基于教育信息化2.0时代的背景[J]. 出版广角， 2019（23）： 4042.
[16] 张桐， 杨孝堂， 杜若. 远程教育全媒体数字教材发展与创新[J]. 中国电化教育， 2017（3）： 138142.
[17] 杜若， 张晓英， 陈桄. 学习活动设计问题分析与交互式数字教材建设[J]. 中国远程教育， 2018（8）： 5462.
[18] 韦铀. 高校数字教育生态构建下的数字教材建设[J]. 出版广角， 2019（12）： 3336.
[19] 宋伟， 孙众. 数字教材环境下小学教师TPACK与自我效能感、技术接受度的关系——一项结构方程分析[J]. 中国远程教育， 2014（9）： 3946.
[20] 尤佳鑫， 孙众， 宋伟. 数字教材的技术接受度与教师TPACK能力的相关分析——基于结构方程模型的实证研究[J]. 电化教育研究， 2014， 35（11）： 102108.
[21] 彭雪庄. 教育信息化2.0时代优质数字教育资源普及模式探究——以广东省数字教材规模化应用调研为例[J]. 中国电化教育， 2018（9）： 138146.
[22] GU X， WU B & XU X. Design， development， and learning in etextbooks： what we have earned and where we are going [J]. Journal of Computers in Education， 2015， 2（1）： 2541.
[23]BEZEMER J， KRESS G. Visualizing English： a social semiotic history of a school subject [J]. Visual Communication， 2009， 8（3）： 247262.
[24]CHEN Y. The semiotic construal of attitudinal curriculum goals： evidence from EFL textbooks in China [J]. Linguistics and Education， 2010， 21（1）： 6074.
[25] 王琴. 教科書人际意义的社会符号学探究[J]. 东莞理工学院学报， 2016， 23（6）： 8186.
[26] FENG W D. Infusing moral education into English language teaching： an ontogenetic analysis of social values in EFL textbooks in Hong Kong [J]. Discourse： Studies in the Cultural Politics of Education， 2019， 40（4）： 458473.
[27] KRESS G R. Multimodality： A Social Semiotic Approach to Contemporary Communication [M]. London， New York： Taylor & Francis Group， 2010.
[28] HALLIDAY M A K. Language as Social Semiotic： The Social Interpretation of Language and Meaning [M]. Beijing： Foreign Language Teaching and Research Press， 2001.
[29] KRESS G & VAN L T. Multimodal Discourse： The Modes and Media of Contemporary Communication [M]. London： Bloomsbury Academic， 2001. [30] 张德禄. 系统功能理论视阈下的多模态话语分析综合框架[J]. 现代外语， 2018， 41（6）： 731743.
[31] 朱永生. 多模态话语分析的理论基础与研究方法[J]. 外语学刊， 2007（5）： 8286.
[32] BARTHES R. Introduction to structural analysis of narratives [C] Edited by BARTHES R. Image， Music， Text. London： Fontana Press， 1977： 79133.
[33] MARTINEC R & SALWAY A. A system for imagetext relations in new （and old） media [J]. Visual Communicaton， 2005， 4（3）： 337371.
[34] ROYCE T. Synergy on the page： exploring intersemiotic complementarity in pagebased multimodal text [J]. JASFL Occasional Papers， 1998， 1（1）： 2549.
[35] 张德禄. 多模态话语分析综合理论框架探索[J]. 中国外语， 2009， 6（1）： 2430.
[36]The New London Group. A pedagogy of multiliteracies： designing social futures [J]. Harvard Educational Review， 1996， 66（1）： 6093.
Exploring the Multimodal Semiotic Design of EFL Digital Textbook：
A Case Study on “English for the Humanities”
WANG Qin
（Foshan Open University， Foshan 528000， China）Abstract： Digital textbook emerged as a result of the information technology revolution， it serves as an important medium of EFL learning and teaching resources. Taking ‘English for the Humanities’—a collection of digital textbook as the corpus， the present study aims to conduct a multimodal discourse analysis in terms of the semiotic and social practice of both textbook writers and readers. It concludes with some pedagogical implications for EFL instruction.
Key words： digital textbook; Social Semiotics; MDA; design; multiliteracies pedagogy
〔收稿時间〕 2020-09-06
〔基金项目〕 国家开放大学2018年规划重点课题“国家开放大学公共英语多模态教学模式研究”（编号： G18A00）子课题“基于
在线学习平台的公共英语多模态教学研究” ;广东开放大学2018年度社区教育专项课题“英语口语混合式教学模式实践探索”（编号： SJ1805）。
〔作者简介〕 王琴（1977—），女，湖北荆州人，佛山开放大学外语系副教授。