文档介绍：张德禄
中国海洋大学外国语学院
*
引言
话语分析转入多模态话语分析阶段:人类的实际交际过程:听觉、视觉、触觉并用
伴语言特征:音响度、声调、语调、音速等;
身体特征:如手势、身势、面部表情、动作、移动等
非身体特征:PPT、音响设备、网络、实验室、周围的环境因素等。
首先,根据系统功能语言学理论尝试建立一个多模态话语分析的综合框架;
然后,探讨不同的模态及其之间的关系;
第三,探讨实现模态的不同媒体系统;
最后,探讨如何在外语教学中选择模态和媒体。
*
多模态话语:运用听觉、视觉、触觉等多种感觉,通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
这种现象司空见惯,自古有之,如诗歌配上图画,说话时打手势做鬼脸,使用不同口气和腔调等。
系统功能语言学是最适合于研究多模态话语的理论模式,其主要原因有以下三个方面:
(1)系统功能语言学不仅关心语言内部的运作机制,同时还研究语言外的环境和动因;
(2)系统功能语言学把话语的意义和功能放在首要位置上;
(3)意义的实现是以多模态形式进行的,语言只是这些形式中最有效的一种。
*
多模态话语分析的理论基础
系统功能语言学理论本身不需要做任何改动就可以直接作为其理论框架。
这个框架主要由五个层面的系统和选择的基本因素和条件组成(Martin, 1992)。这五个层面分别是:
(1)文化层面,意识形态、体裁;
(2)语境层面,话语范围、话语基调和话语方式
(3)意义层面,概念意义、人际意义和谋篇意义;
(4)形式层面,词汇语法系统,视觉语法系统,听觉语法系统,触觉语法系统等
(5)媒体层面,语言的和非语言
*
多模态话语综合框架初探
如上所述,系统功能语言学为多模态话语分析提供了一个相对现成的理论框架。这就是说,在语境和交际层面和话语意义层面,单模态的语言交际和多模态话语交际并没有什么区别。李姆(Lim, 2004)在研究图画与语言形成的多模态话语时提供了如下的框架。
在这个框架中,语言和图画作为交际模态共有意识形态、体裁、语域和话语意义四个层面。
在内容层面,图画具有视觉语法,而语言则有词汇语法;
在表达层面,语言由印刷符号体现;图形由图形符号体现。
在这里最主要的研究领域是把两者在内容层面和表达层面整合为一体,特别是在内容层面研究的任务最重。
*
*
这个框架是对语言与图像所形成的多模态话语的分析框架,还不是一个对所有模态都适用的框架。但其基本思路是正确的:
第一,他的层次的思想是正确的
第二,不同的模态涉及由不同的媒体来体现
第三,不同的模态需要整合在一起
 
据此,我们根据韩礼德的系统功能语言学理论,和我们以上研究的结果,提出了如下的理论框架(见图二)。
*
这个框架分为四个层面:文化层面、情景层面、内容层面和表达层面。
文化层面是使多模态交际成为可能的关键层面。意识形态;体裁。
语境层面:话语范围、话语基调、话语方式;实现所选择的体裁。
话语意义层面,概念意义、人际意义和谋篇意义。
形式层面:视觉语法、听觉语法、触觉语法等。
*
多模态话语的形式及其关系
多模态话语的形式
媒体只有通过形式层面的组织和模式化才具有直接表达意义的能力。
形式对媒介进行组织有两种手段:一是直接赋予某个媒介符号某种意义。由这种符号组成的符号系统通常没有能产性、没有任意性;
二是把一定的媒介符号进行组合,然后赋予这种组合一定的意义,这就是语法的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能产性、双分性,由三个层次的代码组成(媒介、形式(词汇语法)和意义)。语言属于这一类。
语言:词汇—语法
图像:图符—图形语法
音响:音符—声响语法
接触:实体--感触语法
*