【摘 要】作为一种典型的多模态话语形式,儿童绘本在儿童娱乐及教育等方面起着重要的作用。以符际互补理论及视觉分析框架为理论基础,结合系统功能语言学人际意义有关概念对中国儿童绘本中的图文关系进行分析,发现二者间存在态度趋同、态度趋异和称谓强化等互补和衔接机制。在多模态绘本话语中语言语篇与视觉语篇在意义创建过程中起着同等重要的作用,它们相互影响、合作,传达话语意义的整体性和协同性。对阐释多模态话语意义创建过程、了解跨符号系统的协同机制以及解读和制作多模态绘本及其他多模态读物具有一定的参考价值。
【关键词】图文互补;多模态话语分析;儿童绘本;人际意义
作为一种典型的多模态语篇,儿童绘本在儿童生活、娱乐和教育等方面发挥了至关重要的作用。绘本不仅充当着传递社会价值和文化价值的重要媒介,将儿童读者引入高价值的文学领域;也是传播意识形态和塑造文化适应的关键渠道,为他们未来的学校学习与社会化奠定基础。儿童绘本受到学界多方面的关注,主要集中在对儿童绘本的文化研究、文学与教育、和对儿童心理发展研究等方面。[1][2](p9)[3](p1-18)但在大多数的研究中,绘本中的视觉图像往往被视为次要方面,只是为语言文本意义的表达提供支撑,或为儿童读者提供更舒适的阅读。对绘本中视觉图像与语言文本之间协同关系的研究更是受到冷落。但是作为意义的整体,语言符号与视觉图像之间的相互影响、相互依赖在绘本意义创建、影响读者等方面的作用不容忽视。基于此,本文试图从多模态话语分析的视阈出发,在人际意义层面研究中国儿童绘本中的图文互补机制,探讨语言符号系统与图像符号系统是如何相互补足、协同创建人际意义、与读者形成互动并影响读者,从而为读者提供阅读立场。
一、多模态语篇及图文关系研究回顾
当今人们生活在一个新媒体时代,信息技术的革新为人们的交际和生活方式带来了新的变化。单一的语言模式不再是意义表达的唯一手段,逐渐被由图像、声音、手势等多种媒介组成的交际模式所替代。20世纪90年代以来,多模态话语研究者在系统功能语言学(如Halliday,1994;Halliday & Matthiessen,2004)的基础上开始探究语篇意义创建中语言之外的其他符号,其中包括视觉图像,音乐及声音符号,数学符号,多媒体辅助等。[4](P106-167)[5](p1-16)[6](p1-4)[7](p94-128)[8](p1-34)自此,语篇的多模态特征受到话语分析、社会符号学等研究领域的密切关注。近三十年来,多模态话语分析更是在国内外取得了长足的发展,呈现方兴未艾之势。
新媒体语境下多模态语篇是人们交际活动的一种普遍内在特征。多模态语篇是由语言、图像、声音和色彩等多种符号构建的语篇,不同的符号系统在创建意义、与读者互动等方面相互交织、相互作用。其中,图文关系是研究不同模态之间关系方面非常重要的一个领域,近几十年来越来越多的学者对此表示关注。Barthes(1977)以新闻图像、图文广告语篇等作为分析对象,通过观察区分了图文之间的三种关系:锚定、依赖和说明。[9](p79-124)Martinec & Salway(2005)在Barthes关于图文关系研究和Halliday关于语言系统中小句的逻辑-语义研究的基础上,对新、旧媒体话语进行考察,进一步发展了图文关系系统。这样的系统包含地位与和逻辑语义两个子系统,前者可次分为图文地位等同与不等同两种关系;后者可次分为图文扩展关系与投射关系。[10]0'Halloran(2005)从跨符号/模态的视角讨论了语言和图像之间的隐喻关系,将语言系统中的“语法隐喻”向其他符号系统扩展,认为符号隐喻会引入新的参与者、过程和环境成分等。[7](p179)谢妮妮(2014)结合Martinec & Salway的图文逻辑-语义关系系统和Painter等人的视觉分析框架,考察了《格林童话》插图本中的图文关系,通过距离、权力、视点、方位四个视觉系统讨论了图像与文字的关系,发现插图本中图文在人际意义维度上存在详述、增强和延展三类逻辑语义关系。[11]而曾蕾、杨慕文(2016)聚焦图文语篇中的投射关系,提出了图文投射系统分析框架,探讨了漫画语篇中图文投射话语的结构呈现与实现方式。[12]邱晴、胡勇(2016)从系统功能语言学实例化层次的角度考察了儿童绘本中图文两个符号系统在语篇实例化过程中激活和表征的意义总量。[13]田园、刘世生(2017)对哈登的小说《深夜小狗神秘事件》中的文字模态与图像模态的“地位”关系与“逻辑-语义”关系进行了分类,从图式保持、图式强化、图式更新三个方面探讨了文字与图像在作品中的配置关系。[14]由此可见,图文关系已然成为多模态话语分析的热点。但作为典型的图文多模态话语形式之一,儿童绘本,尤其是对我国儿童绘本中图文衔接和互补机制的研究却鲜有论述。鉴于此,本文以系统功能语法、Painter等人(2013)的视觉分析框架以及Royce(2007)的符际互补为理论依据,对人际意义视阈下中国儿童绘本中图像和语言符号系统进行了细致的分析,考察两者是如何相互作用、协同创建意义、影响读者并形成互动的。[15](pl5-49)[16](p63-103)
二、多模态绘本语篇的图文互补分析
本文选取熊亮与耳火创作的绘本《年》作为语料,探讨中国绘本中视觉图像与语言文字在人际意义层面的协同与互补。绘本在为儿童读者传递社会文化价值等方面具有重要的作用。“年”作为中国故事中流传已久的怪兽,人们对他耳熟能详,是中国文化中不可缺少的一部分。绘本《年》讲述了中国文化中年兽的传说以及由来,通过年兽的故事向读者传播中国春节的传统习俗。
本文采用Martin & Rose(2008)关于故事的结构分析,将该绘本分为指向(orientation)、进展(complication)、评价(evaluation)、解决(resolution)和结尾(coda)等部分。[17](p72-78)Martin & Rose的故事语类结构是在Laobv(1972)关于个人经历的结构分析基础上提出的。《年》采用了包括首尾页在内的19个版面,从语篇结构角度来看,首页和第一个版面是指向部分,作者用设问的方式告诉读者“年”是寒冬里由孤独聚集而来的怪物。第二和第三版面是语篇的进展部分,告诉读者孤独的年兽会在冬天最冷的那天捕捉落单者。第四至第六版面是故事的第一个解决部分,人们可以通过在春节相聚在一起的方式远离年兽带来的恐惧,同时也衔接了故事的下一个进展:可总会有孤独的人。第七至第八版面是该绘本的新进展,落单的人会被年兽抓住和“吞掉”。第九至第十二版面是评价部分,被年兽笼罩的人会感到难过、寂寞,心生怨气。第十三至第十八版面是故事的结尾部分,这些版面详细地阐述了如何从年兽的手中逃脱:新年时人们必须摆脱孤单,穿着鲜艳的衣服,相互问候拜访,放鞭炮等等。尾页是该绘本的点题部分,图像内容是微笑的年兽站在灯笼上向读者拜年,配上“新年快乐”四个文字,让读者重回现实,感受过年的快乐。
(一)语气系统及言语功能的人际意义分析
系统功能语言学认为语言的人际功能是指交际者使用语言表达情感、态度,构建人际互动,建立人际关系的功能。[4](p106)语言系统的人际意义主要由语气和情态两大系统构成。人们在使用语言进行交际时主要是实现“给予”和“索取”两类角色,“给予”或“索取”的内容包括信息、货物和服务。[4](P111-121)语气系统是为人际互动关系的建立服务的,一般来说,言语可以实现以下四种功能:陈述、提问、提供和命令。本文对绘本中语言语篇中的小句进行了语气系统分类,分析了小句表达的言语功能(见表1)。
表1 《年》的语言语篇中小句语气系统分析
页码 | 主语/谓语 | 语气 | 言语功能 |
1 | 你们/知道;他/是 | 疑问句;陈述句 | 命令;陈述 |
2 | (省略主语)/有;他/叫;他/住在;没有人/玩 | 陈述句 | 陈述 |
3 | 他/会/感到;(省略主语)/不/知道;他/会/感到;他/冲下;(省略主语)/吓唬 | 陈述句 | 陈述 |
4 | (省略主语)/救命 | 祈使句 | 陈述 |
5 | 大家/聚、挂、做、穿、过(同一主语);年/不/出现 | 陈述句 | 陈述 |
6 | 人们/会/过年;许多人/忘记 | 陈述句 | 陈述 |
7 | (省略主语)/是;(省略主语)/有 | 陈述句 | 陈述 |
8 | 年/会/抓住 | 陈述句 | 陈述 |
9 | 年/会/跳出;年/钻到 | 陈述句 | 陈述 |
10 | 年/会/笼罩;(省略主语)/使 | 陈述句 | 陈述 |
11 | (省略主语)/让 | 陈述句 | 陈述 |
12 | 人/被/吞掉 | 陈述句 | 陈述 |
13 | (省略主语)/不能;谁/不/愿意;我们/重新来 | 祈使句 | 命令 |
14 | (省略主语)/逃脱;(省略主语)/是 | 祈使句 | 命令 |
15 | 你/要/有 | 祈使句 | 命令 |
16 | 你/要/忘记;你/要/打电话;你/要/说;(省略主语)/要/说 | 祈使句 | 命令 |
17 | (省略主语)/别/漏下;(省略主语)/别/忘 | 祈使句 | 命令 |
18 | 年/有;年/变 | 陈述句 | 陈述 |
根据表格1,我们可以发现在此绘本的文字语篇中使用最多的语气是陈述小句,这是由儿童绘本这一体裁所决定的,陈述语气有助于故事的连贯性与流畅性。一般而言,在绘本中使用陈述语气难以鼓励读者与故事世界以及故事人物产生互动,疑问句和祈使句能更好地介入读者,使读者更加投入故事世界。陈述句的作用在于它可以为读者提供充足的信息,保证故事主线讲述不受打扰,从而保持故事的持续性以及信息传递的完整性。因此,陈述语气常常被应用于绘本的开局部分。在此绘本中,作者在故事的开篇(指向)部分和进展部分使用了大量的陈述小句;读者在这些阶段不需要主动参与到故事发展中,相反,他们应该保持一个疏远的读者立场,接受绘本传递的信息,了解年兽的背景知识,对故事世界形成一个宏观的印象。绘本只使用了一个疑问小句,它出现在绘本的首页,对读者发出提问“你们知道年是什么吗”。这个疑问小句实现的是“命令”的语气功能,要求读者及时给予反馈,对绘本的主题展开丰富的想象,如什么是年兽,它长得怎么样,是不是很凶恶等等。紧接其后的是作者对年的介绍说明,因此,这里使用的疑问小句并不需要读者来回答,它实现的是“修辞性"(rhetorical)功能,充当设问句的作用,意在介绍年兽为该故事的主角,使读者与故事人物之间创建一个互动的关系,达到激活开局的目的。祈使小句主要出现在结尾部分,作者在一系列的连页(如十三至十七版面)当中使用祈使句来表达“命令”的语气功能,要求读者掌握摆脱年兽攻击的主要举措,期望读者参与故事世界,投入故事人物的立场从而采纳这些建议,如在新年的时候给朋友打电话,和家人团聚等。通过语言文本的叙述,儿童读者能够接受这些建议,掌握该绘本所要表达的核心思想,也能更加熟悉中国关于春节的传统和习俗。总体而言,《年》的语言语篇使用了更多的陈述语气,使用了较少的疑问和祈使语气,为读者营造了一个相对来说疏远、客观的读者视角。
(二)视觉图像系统的人际意义表征
绘本中的图像语篇并非语言文本表达意义的附庸,它能单独创建意义,与读者建立互动关系,具有和语言系统同等重要的作用。在这一部分,本文运用视觉分析框架,从聚焦、氛围和情感介入三个主要视觉表意系统对《年》的图像符号资源进行分析(见表2),探讨绘本中视觉人际意义的建构路径。
表2 《年》的视觉人际意义分析
视觉系统 | 数量 | |
聚焦(Focalization) | 接触(contact) | 14 |
旁观(observe) | 5 | |
情感介入(Affect) | 鉴赏类(appreciative) | 16 |
移情类(alienating) | 2 | |
个体类(emphatic) | 1 | |
氛围(Ambience) | 暖色调(warm) | 6 |
冷色调(cool) | 13 |
聚焦系统主要关注两个方面的内容:(1)图像中人物是否与读者形成互动;(2)图像为读者提供怎样的阅读视角。Painter等人进一步将聚焦系统分为接触和旁观两类图像关系,由图像人物与读者的眼神接触/不接触来区分。[15](pl8-30)在图像聚焦系统的选择上,绘本《年》采取了大量的“接触”视觉选项(共13个实例),远高于“旁观”选项(共6个实例)。“旁观”的使用会增加图像与读者的社会距离,使读者疏远故事世界,降低读者与图像之间的人际互动。例如,在第三个版面中,图像内容呈现的是年兽面目狰狞,正挥舞利爪追赶一个没有同伴的人,被追赶的人面露恐惧,图像人物没有和读者产生眼神接触。绘本采用这样的聚焦选择意味着儿童读者不需要在此部分参与到故事发展中,只需要接受/拒绝作者通过视觉图像传递的信息,从而获得一种相对中立的阅读立场。同时结合文字语篇所表达的信息“每到寒冬里最冷的那一天,他会感到更加孤独……去吓唬那些落单的人”,读者很容易理解该绘本的开局设定,即孤独的人才是年兽的捕猎对象。与旁观的视觉选择相比,绘本更偏向使用“接触”的视觉视角,这类视觉选择可以拉近读者与图像人物之间的关系,提供一种相对主观的阅读立场。绘本的首页运用了“接触”的聚焦方式,图像中年兽直接与读者产生眼神接触。结合文字语篇中对年兽的介绍,读者能够立即意识到年是这个故事的主题。一般来说,这类聚焦技巧的使用依赖故事体裁的“元虚构语境”,即主要对故事主角进行介绍,推动故事的展开。[15](p20)除此之外,该绘本还在多个版面使用了“接触”的视觉选择,如在绘本的进展部分,图像世界中的人们正在庆祝新年,团聚的人们喜笑颜开,孤单的人痛苦悲凉,图像人物都直接面对读者,与读者构成接触视角,因此,读者被引入到视觉表意中,融入到故事世界里,与图像人物形成共情关系,感受他们的欢乐、孤独或悲伤等情绪。
氛围系统是关于颜色在视觉表达中所建构的情感基调,为读者提供直接的情感影响。颜色是一种重要的视觉符号,能够同时表达概念、人际及组篇元功能,如使用颜色符号资源来表征物质世界中已然存在的事物——蓝天、白云等,这是概念功能;利用颜色的对比和差异来突出某个成分,或者重复使用同一的颜色来形成视觉韵律等,这是颜色实现的组篇功能。[5](p15)而Painter等人在Kress & van Leeuwen视觉语法的基础上将颜色这一符号资源纳入了视觉人际意义框架当中,并发展了氛围系统。根据氛围系统中的色调子系统对《年》的颜色资源进行分析,发现绘本较多地使用冷色调。颜色的使用是儿童绘本视觉意义表达非常重要的一个特征,它能够带给儿童读者最为直接的感官感受,影响他们的情感。该绘本较少地使用暖色调,暖色调的使用有助于构建舒适正面的情绪,如绘本在故事的结局部分(第十五版面)使用了高饱和度的红色来构建春节的视觉氛围,处于红色氛围内的人们喜气洋洋,而年兽面对红色则是惊慌失色。鲜艳的暖色调给读者带来一种积极向上的感情引导,提供温馨舒适的情感暗示,有助于读者将红色与新年联系起来,达到作者的叙事预期。而冷色调的使用则容易给读者带来紧张、冷漠的负面情绪,在绘本中冷色调被运用于以下三类语境表征中:(1)构建春节期间落单人们的孤单氛围,如在第十一版面中作者用蓝色和黑色的交织勾勒出一个孤单的情景,读者能够通过图像中的人物和氛围感受到孤独、无助的负面情感;(2)表征年这种生物的可怖形象,如在第二版面和第四版面中,年兽的视觉刻画均选择黑色的线条,给读者一种冰冷、凶恶的感受;(3)凸显被年兽所抓住的无助情感,在故事的第二个进展部分,落单的人被年兽抓住,这些场景选取的是黑色和灰色线条,而这样的颜色符号激活了读者紧张、害怕和无助的情感,使读者投身于故事当中。与此同时,这些场景中的图像人物往往选用“接触”的聚焦手段,有助于读者融入故事,站在图像人物的立场,感同身受。
情感介入是研究视觉图像、建构人际意义的另一个重要方面。图像的描绘风格不仅能如语言一般表达情态,还可以设置图像人物与读者之间情感的预设。根据视觉分析框架,图像的情感介入系统由介入和疏远两种方式实现。前者是指读者与图像人物构成情感介入,作者通过图像人物的刻画来实现与读者的感情联系。后者则相反,指图像人物与读者之间不构成情感投入。作者通过视觉图像提供客观的读者立场,说明/解释形图表是这类关系的典型性实例。介入系统又进一步分为鉴赏类、移情类以及个体类。鉴赏类的表现方式是人物刻画的最简风格,移情类则为类化风格,而个体类图像则由自然风格实现。[15](p34)基于情感介入系统对绘本进行分析,研究发现,绘本中对图像人物的描绘较多使用了最简风格,只有两处采用了类化风格,一处采用了自然化风格。最简风格一般来说较为抽象,为读者提供较远的阅读距离。将图像描绘成最简风格可以增强读者作为故事的观察者/读者立场,促进读者对故事世界和人物进行社会评价。在解决部分,如第五版面,图像内容是人们为了赶走年兽聚在一起过年。图像中的人们并没有被高度个体化,而是采用最简风格。由此可以看出,作者并未期望读者将图像中的人们识别为日常生活中的独立个体(如同学、家长、亲属等),从而与他们构成亲近关系。图像为读者提供了疏远的阅读站位,期待读者将这类图像人物识解为具有象征意义的集体构建。此时,这类刻画风格具有“象征性与程序化”特征,提醒读者将注意力转移到图像人物所表达的情感(如喜悦或伤心)而不是去关注图像人物本身。[15](p32)
(三)多模态语篇图文互补机制及人际意义互动分析
以上所述分别运用了系统功能语法以及视觉分析框架对绘本的文字语篇及视觉图像进行了详细的分析,考察这两个符号系统是如何创建意义,与读者协商并形成互动的。但这样的分析是在绘本两个核心符号系统自成一体的基础上展开的,并未涉及语言和图像符号系统在创建意义、建构读者方面的协同与互补,而这恰恰是多模态(或多符号)话语面临的挑战与研究重点。[18]基于此,本文接下来考察绘本中语言和图像符号系统如何在人际意义层面上协同互补,共建意义」如符际互补理论将作为分析工具,从态度趋同,态度趋异和称谓强化三个维度探讨绘本中的图文人际意义符号互补机制。在系统功能语法关于语言的人际功能基础之上,Royce发展了两种符号间人际意义衔接机制。从儿童绘本的角度来看,前者是指图像符号资源与语言符号资源相互合作,表达相同或相近的人际意义和态度意义。后者则相反,当两者建构了差异甚至矛盾的人际意义内容和态度时,两个符号系统会产生趋异的态度意义,如绘本中的图像符号资源传递了互动信息或指令,而在语言符号中却找不到相应的态度意义表达。研究还发现,绘本《年》中图文符号间较多地使用了态度趋同衔接机制。该关系的典型实例出现在绘本的第十版面(图1),两种符号资源相互作用,共同构建了人际意义上的图文衔接关系。在该版面的左上角,语言文本仅使用了几个陈述小句,实现了该类小句的“无标记”语气功能,即陈述功能,为读者提供信息或服务。与之相符,图像文本也采用了疏远的读者视角,读者无须融入故事,无须做出相应的反馈和回应。图像人物的刻画选取了“最简风格”,这类风格引发读者情感的能力较弱,读者此时被设定为故事的观察者而非闯入者,被动接受/拒绝作者传递的信息。此外,从空间距离的角度来看,此图像使用了长镜头的视觉技巧来增加读者与图像人物之间的社会距离和心理距离。对年兽的视觉表征采用了从上至下的纵向角度,年兽从高处俯视读者。仰视角度表示图像人物对于观看者来说具有符号权力。[5](P140)这样的视觉手段凸显了年兽的强大,也暗示了“受害者”的弱小、恐惧和无助。在氛围方面,图像选择了“自然度:疏离”的视觉表达,运用缺少饱和度的冷色调来表征一个和读者熟知的物质世界远离的故事世界。总而言之,该版面图像符号资源协同语言符号资源,通过相似的态度表意形式创建了一致的人际意义,为读者提供一个疏远的阅读立场,关闭读者与故事世界的介入关系,便于他们观察故事进展,接收故事信息,告知读者被年兽笼罩着的人们的痛苦经历。

图1 绘本《年》第十版面
人际意义视角下图文互补关系的第二个机制是态度趋异,虽然该机制在绘本中出现的频率不及趋同机制,但也对绘本人际意义的创建表达起了重要作用。上文提到在《年》的文字语篇中使用了大量的陈述小句来压缩读者与故事世界的介入,但在绘本的图像语篇中常采用具有较强互动意义和增强读者与图像世界、图像人物之间介入关系的视觉手段,这和语言符号表达的人际意义不一致。在绘本的第七版面中语言文本只用了一个简单的陈述语句来告知读者春节期间的不同场景。第三人称的叙述者声音和客观的语调无疑拉开了读者与故事及人物之间的距离,阐述了不同的人们在春节期间的表现。然而,图像模态却建构了相反的人际意义。首先,图像文本采用了“接触”手段,促使读者与图像人物形成介入关系,要求读者对图像人物的表情和姿势语(哭泣或微笑)作出积极或消极的反馈;其次,在空间距离的层面上,图像通过近景镜头拉近读者与图像人物的距离,图像人物与读者构成齐眼高度视角,强化读者与图像人物的互动关系。这些图像表达向读者发出邀请,希望他们进入故事世界,分享图像人物的感受,包括左页团圆人们的喜悦以及右页落单人物的悲伤。此外,版面的左右两页采用了泾渭分明的氛围选择,左页采用明亮的橙色来表达春节团聚的温馨情感,而右页则采用黑色线条勾勒出孤单情景下的悲伤情绪。强烈的颜色差异与氛围对比极大程度上激活了儿童读者的情感共鸣。因此,该版面中的语言符号资源与图像符号资源通过态度趋异的衔接机制表征了差异化的人际意义。
除了态度趋同和态度趋异,多符号系统之间在人际意义维度上还存在另一种跨符号衔接机制,这种符号间的人际意义互补机制被称作称谓强化。称谓强化是在系统功能语言学语言的人际元功能基础上发展的,涉及两个或多个符号系统间称谓意义表达的一致。如上文所述,在《年》的文字语篇中故事的指向部分和进展部分使用了较多第三人称(如“他”“年”等)的陈述语气,这些语言符号资源试图呈现一个外部的叙事声音,尽量不打断故事发展和推进,而这样的语言形式往往和“聚焦:观察”的图像选择相结合,给读者强烈的指向:故事世界离我们还很遥远,我们需要观察这个故事的进展。随着故事推进,绘本结局部分的语言文本不再使用第三人称的陈述语句,而是换成了第二人称“你”和内包的第一人称“我们”,陈述语气也被祈使语气所代替。外部的叙事声音变成故事内部声音,如第十六个版面(图2)对读者下达一系列命令,“要忘记所有不开心的事”“向所有人说新年好”等,要求读者采纳这些举措从而摆脱年兽。这样的语言形式构建了很强的人际互动意义,读者被要求接受建议并作出反应,同时进入故事世界与图像人物互动。相应地,结局部分的图像模态采用“接触”的聚焦技巧,如使用近景镜头、齐眼高度视角、虚化图像背景、将图像人物前景化等一系列视觉手段,这样的视觉手段强化了读者对图像人物的身份认同,对读者发出邀请,促使读者进入故事世界,站在图像人物的视角,增加读者对图像人物的情感投入。在绘本的结尾部分,语言符号系统与图像符号系统在称谓选择上选取一致的意义表达,协同创建人际意义,达到了称谓强化的互补衔接机制。通过图文互补机制,作者邀请读者主动参与到故事中来,达到和读者结盟的目的。从儿童读者的视角来看,图文互补机制可以加深对图像人物的认同,代入故事中的人物的立场,通过回应故事中各种指令来学习中国春节的传统习俗:在春节时期人们要张灯结彩,穿着鲜艳,喜气洋洋,家庭团聚等。

图2 绘本《年》第十六版面
三、结语
本文在系统功能语言学的人际意义视阈下对多模态绘本话语中的图文互补关系进行了探讨。应用系统功能语法的语气系统分析了绘本《年》的小句语气结构及其表达的互动意义,以视觉分析框架为基础探析了绘本中视觉人际意义的表征,同时,从符际互补的视角阐释了图文两种符号系统在实现人际意义、构建与读者的介入和互动等方面所形成的协同与互补。多模态话语中的图文绝不会随意地出现在同一页面,它们之间的关系也不仅仅是通过“限制对方的意义生成而共生”,它们之间的关系是互动互补的。[19](p221)系统功能语言学在话语意义生成、理解和解读等方面具有很强的解释力,将系统功能语言学运用到多模态绘本话语的图文互补研究能推动系统功能语言学的发展,因为它有“很多理论直接来自实践或在实际运用中不断完善”。[20]多模态话语已然成为新时代语境下的主要话语形式,图文关系是探讨不同模态之间关系的重要研究领域。本文还对多模态绘本图文衔接机制进行了深入研究,挖掘图文系统间的并协与互补,阐释两者如何相互影响、合作,传达话语意义的整体性和协同性。本文是系统功能语言学与多模态话语分析本土化研究的有益尝试,为诠释多模态话语意义创建、探析跨符号系统的协同机制以及解读与创作中国语境下儿童绘本及其他多模态读物提供理论和实践参考。
参考文献:
[1]Dong,L.Writing Chinese America Into Words and Images:Storytelling and Retelling of The Song of Mu Lan[J].The Lion and the Unicorn,2006(30):218-233.
[2]Stephens,J.Language and Ideology in Children's Fiction[M].New York:Longman,1992.
[3]Hunt,P.An Introduction to Children's Literature[M].Oxford:Oxford University Press,1994.
[4]Halliday,M.A.K.& Matthiessen,C.M.I.M.An Introduction to Functional Grammar(3rdedn.)[M].London:Arnold,2004.
[5]Kress,G.& van Leeuwen,T.Reading Images:The Grammar of Visual Design[M].London:Routledge,1996.
[6]van Leeuwen,T.Speech,Music,Sound[M].London:Macmillan,1999.
[7]O'Halloran,K.L.Mathematical Discourse:Language,Symbolism and Visual Image[M].London:Continuum,2005.
[8]Baldry,A.P.& Thibault,P.J.Multimodal Transcription and Text Analysis[M].London:Equinox,2006.
[9]Barthes,R.Introduction to Structural Analysis of Narratives[A].In Barthes,R.(eds).Image,Music,Text[C].London:Fontana,1966/1977.
[10]Martinec,R.&Salway,A.A System for Image-text Relations in New(andold)Media[J].Visual Communication,2005(3):337-371.
[11]谢妮妮•《格林童话》中图文关系的逻辑语义扩展探讨外语教学,2014(1)=21-25.
[12]曾蕾,杨慕文.图文语篇中的投射分析框架构建探讨[J].西安外国语大学学报,2016(4):35-38.
[13]邱晴,胡勇.社会符号学视角下意义建构的实例化研究[J].江西师范大学学报(哲学社会科学版),2016(5):84-89.
[14]田园,刘世生•多模态小说中的图文关系及意义建构研究[J]•外语教学,2017(2):39-43.
[15]Painter,C.,Martin,J.R.& Unsworth,L.Reading Visual Narratives:Image Analysis of Children's Picture Books[M].London:Equinox,2013.
[16]Royce,T.Intersemiotic Complementarity:A Furamework for Multimodal Discourse Analysis[A].In Royce,T.and W.Bowcher(eds.).New Directions in the Analysis of Multimodal Discourse[C].Mahwah,New Jersey:Lawrence Erlbaum Associates,2007.
[17]Martin,J.R.& D.Rose.Genre Relations:Mapping Culture[M].London:Equinox,2008.
[18]Unsworth,L.Towards a Metalanguage for Multiliteracies Education:Describing the Meaning-making Resources of Languageimage Interaction[J].English Teaching:Practice and Critique,2006(1):55-76.
[19]Nodelman,P.Words About Pictures:the Narrative Art of Children's Picture Books[M].Athens and London:the University of Georgia Press,1988.
[20]常晨光,廖海清.系统功能语言学理论与实践的辩证关系一适用语言学探索[J].外语与夕卜语教学,2010(5):11-14.