文档介绍：多模态话语分析理论及在教学中的应用
张德禄
******@
整理ppt
1
目录
1. 引言
2. 理论基础
3. 符号资源
4. 多模态设计
5. 多模态语法
6. 模态之间的关系
7. 模态选择及用途
8. 多模态读写
9. 问题与不足
10. 将来的研究
整理ppt
2

多模态性在历史上没有受到人们的重视;
在现代语言学研究中：被看作非语言特征和伴随语言特征；一种语言的辅助表达系统，没有作为意义表达模态来研究。
多模态产生的原因：
（1）是话语分析理论发展的一个历史阶段：人们发现话语的意义很大一部分是由非语言特征实现的。
（2）人类话语越来越多模态化：多媒体和网络的产生促进了多模态话语的研究；人类的交际过程需要听觉、视觉、触觉并用；在一些领域，交际的主模态已经由语言转为图像或其它模态，网页、电影、画展等。
整理ppt
3
多模态话语分析研究
. Barthes，在他1977年发表的论文《图像的修辞》（ Rhetoric of the image）中探讨了图像在表达意义上与语言的相互作用。另外几个主要的研究者包括：
2. Kress， G. and van Leeuwen， T. (1996; 1998; 2001; 2002)研究了模态与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括视觉图象、颜色的语法，以及报纸的版面设计和不同媒介的作用等。
3. O'Halloran， K. L. (1999a；1999b; 2000; 2003; 2004)不仅研究多模态的理论建构，还专门研究了数学语篇中的多模态现象。
5. Royce， T. (1998a; 1998b; 2002)研究了不同符号在多模态话语中的互补性，以及在第二语言课堂教学中多模态的协同性等。
还有其他许多研究者：Jewitt 2008；New London Group (1996)；Lemke, J. (2002)；Bednarek & Martin （2010）。
整理ppt
4
模态与媒体（Mode vs medium）
模态（modality）来自于mode/model(方式、模式），表示可对比和对立的符号系统；
媒体是符号分布印迹的物质手段，如产生语篇采用印刷的或手写的手段，说话时发出的声音，身体的动作，或计算机显示器上的光脉冲( Scollon & Levine 2004) 。
我们感受客观世界的视觉、听觉、触觉、味觉、嗅觉是不同的感知模态，但眼、耳、手、舌、鼻则是媒体。
这样，模态是用某种媒体表达信息的特殊方式。媒体是表达信息的物理工具。
整理ppt
5
单模态 (monomodality) vs 多模态 (multimodality
单模态是只通过一种模态进行交际活动的现象，如说话、听录音、读书。前者为通过听觉模态；后者为通过视觉模态。
多模态表达可以分解为同时表达意义的两个或两个以上的单模态(Bernsen 2002) 。我们每天在看报纸、杂志、广告、招贴画、故事书、教科书、活页文选、百科全书、说明书、计算机界面时，甚至在我们相互交往时都离不开多模态。我们谈话时手舞足蹈，有声有色，也意味着使用了多模态。
多模态话语：运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际的现象。
整理ppt
6
2. 理论基础
多模态话语分析理论的基础是社会符号学
索绪尔：能指（signifier)----所指(signified)。只研究个体符号的特性；只研究“Langue”，不研究“parole”。
皮尔斯发展了符号范畴：图标、索引和语符。他论述的媒介、对象、解释三位一体的三角关系。
韩礼德提出了“语言是社会符号”的理论。社会符号学优先研究的是把所指行为作为实例，并把社会的所指实践作为经常的、可重复的、可识辨的类型。社会有意义的实践构成各种文化(社会符号系统) 。符号系统是对这些实践的抽象(如从言语得到语言符号) 。

Saussure → Langue Parole ← Halliday
Pierce
整理ppt
7
社会符号学没有必要区分理论符号学和应用符号学，它与话语分析、多媒体分析、教育研究、文化人类学、政治社会学有更紧密的关系。
再者，它也回答了索绪尔符号学所难以摆脱的一个悖论：这个理论一方面把语言看作是静态的不变的，另一方面又不得不承认“所指的变化导致概念