多模态话语分析中是否需要分析多模态语法？——一项基于系统功能语言学的探讨

本文由同济大学外国语学院的张德禄教授与赵静合作撰写，发表于《当代修辞学》2021年第2期（总第224期）。这是一篇理论探讨性论文，旨在回应多模态话语分析领域的一个核心方法论问题：在进行多模态语篇分析时，是否有必要以及如何分析“多模态语法”。

学术背景与研究目标

该研究的学术领域为多模态话语分析，其理论基础主要源于系统功能语言学。研究起点是韩礼德（M.A.K. Halliday）“语言是社会符号”的论断，该观点将语言视为众多社会符号系统中的一种，从而为研究其他模态（如图像、颜色、布局、手势等）的意义构建功能打开了大门。自罗兰·巴特对图像修辞的探索开始，学者们不断尝试将语言学方法应用于非语言模态。其中，克莱斯和凡·莱文（Kress & van Leeuwen）提出的“视觉语法”影响深远，他们系统地构建了视觉模态在概念、人际、语篇三大元功能上的语法体系。然而，这类研究也面临批评，如被认为具有主观印象性，且过度依赖语言学框架，未能建立独立的理论体系。

在此背景下，本文提出了一个根本性问题：在多模态话语分析中，我们是否真的需要像分析语言语法一样去分析其他模态的“语法”？这个问题直接关系到多模态分析方法的严谨性与理论自洽性。因此，本研究的目标并非提出一套新的具体语法规则，而是通过综述前人研究，厘清“语法”的本质，并系统探讨决定是否需要分析多模态语法的关键因素，旨在为多模态话语分析实践提供方法论上的指导原则和清晰的分析步骤。

论文主要观点与论证

观点一：是否需要分析多模态语法，取决于分析的目标。

作者指出，分析目标是一个决定性因素。具体可分为三类： 1. 理论建构目标：若研究旨在探讨非语言符号系统稳定的内部特征（如名词性特征在不同符号系统中的体现），则必须深入到语法层面。例如，作者引用自身研究（Zhang, 2017），展示了如何识别多模态语篇（如一张电脑绘制的请柬）中的非语言“名词”或“名词词组”，并论证了不同符号（如象征、索引、图像）其“名词性”强弱构成一个连续体。这类研究为建立多模态语法提供了理据。 2. 解决实际问题目标：大部分应用型分析（如课堂教学研究、广告分析）以解决问题为核心。若能仅在语篇意义层面解释清楚模态间的配合与效果，则无需深入语法层。然而，当意义层面的解释力不足时，语法层面的分析就变得必要。例如，在分析一则关于海湾战争的新闻报道（图文结合）时，作者详细展示了如何对图像片段和语言片段分别进行及物性分析，揭示它们如何通过不同的过程类型（物质过程、关系过程等）协同构建战争叙事。这种语法层面的对接，能更精确地说明图文如何互补、详述或增强彼此的意义。 3. 不同研究视角目标：从功能视角（如系统功能语言学）进行研究，通常倾向于也需要建立语法框架来解释意义如何通过形式资源产生。而从认知视角（如多模态隐喻、转喻研究）或形式视角（如图形语法）进行研究，其关注点在于概念映射、心理表征或形式规则，通常不涉及或不强调功能语法分析。因此，视角的选择预先决定了语法分析的必要性。

观点二：是否需要分析多模态语法，受模态或符号系统自身特点的制约。

作者从符号学角度深入剖析了模态的特性，提出两个关键区分维度： 1. 符号系统的层次： * 两层系统：符号的实体形式与意义直接一一对应（如交通信号灯：红灯→停止）。此类系统没有独立的“词汇语法”层，形式选择即意义选择，因此为其建立结构/功能语法系统的必要性不大，但需要描述其符号系统规则。 * 三层系统：在实体形式与意义之间，存在一个相对独立的词汇语法层作为中介（如语言：声音/文字→词汇语法→意义）。对于这类系统，有必要分析其语法，因为形式的选择并不直接、唯一地决定意义，需通过语法规则进行组合与解释。 2. 符号的类别（依据皮尔斯的分类）： * 图像符号：基于相似性（如照片）。理解主要依赖感知与直接识别，通常无需语法中介。 * 索引符号：基于关联性（如烟→火）。理解需要推理，若系统为三层结构，则语法有助于规则化推理过程。 * 象征符号：基于约定俗成（如语言、国旗）。能指与所指间无自然联系，必须通过学习掌握其规则。对于复杂的三层象征符号系统（如语言），语法分析至关重要，它是连接形式与复杂意义的必要桥梁。 结论是，最需要且适合进行语法分析的是那些具有“三层系统”特征的“索引符号”和“象征符号”。而图像性强的两层系统，通常不需要（但非绝对）语法分析。

观点三：多模态语篇自身的组合特点，影响着语法分析的切入点和方式。

作者通过实例分析，归纳了多模态语篇中模态间的几种组合模式，这决定了分析时应采取的策略： 1. 语篇片段互补模式：最常见的情况。多模态语篇由不同模态实现的、相对完整的语篇片段（如图像段落、文字段落）通过逻辑语义关系（如详述、增强、延伸）组合而成。例如，一则矿泉水广告由图像片段（人物饮水场景）、文字片段（产品描述）和作为独立符号的水瓶图像片段组成。分析时，应首先识别各模态片段自身的意义与功能，再分析它们之间如何协作。 2. 成分整合模式：一种模态实现的成分（如孤立的词语、标签）被整合到另一种模态实现的语法结构或语篇框架中。例如，在地图图表中，地名标签（语言成分）被整合到地图（视觉分析过程）的特定位置，共同构成一个完整的及物性结构。分析时，需要将不同模态的成分在语法层面进行“对接”，视其为一个统一的语法结构来分析。 3. 维度差异：语言是线性的，而图像是二维甚至三维的。因此，图像“语法”可能是空间性的。分析时需注意不同模态语法模式的差异，不能机械套用线性语法。

基于以上因素，作者提出了一个多模态话语分析的具体步骤框架：首先，根据分析目标、模态特性和语篇组合模式，判断是否有必要进行语法层面的分析。若有必要，则先区分语篇中的不同模态片段；其次，分别分析各片段的语法（如果该模态有可分析的语法）；然后，比较或整合不同模态片段的语法结构，探究它们是如何协同、互补或交叠的；最后，进行综合的多模态语篇意义解读。

研究意义与价值

本论文的价值主要体现在方法论和理论反思层面： 1. 提供了清晰的方法论指南：文章没有给出一个放之四海而皆准的答案，而是提供了一个决策框架。它帮助研究者在面对具体多模态语篇时，能够系统地考虑分析目标、符号特性和语篇结构这三个关键因素，从而明智地决定是否以及如何进行语法层面的分析，避免了盲目套用或完全拒绝语法分析两种极端。 2. 深化了对“多模态语法”本身的认识：通过追溯“语法”的本义（对形式结构系统的研究），作者区分了真正的语法和“语篇语法”的隐喻用法。这促使学界更审慎地对待“视觉语法”等概念的实质——它们究竟是描述性的功能框架，还是真正具有生成性和系统性的“语法”。文章承认现有“多模态语法”研究根基尚不牢固，但论证了继续深入研究的必要性。 3. 强调了符号学基础的重要性：研究将多模态话语分析的问题回溯到符号类型（图像、索引、象征）和符号层次（两层、三层）这一根本，使讨论更具理论深度。它指出，模态的“语法性”并非铁板一块，而是因“模”而异的连续体。 4. 整合与推进了前人研究：文章系统评述了从巴特、欧图尔、克莱斯与凡·莱文到马辰（Machin）等学者的关键贡献与局限，在整合不同观点的基础上，提出了更具综合性和操作性的分析思路，对后续研究具有重要的指导意义。

这篇论文是多模态话语分析领域一篇重要的元理论和方法论探讨。它不提供简单的“是”或“否”的答案，而是通过严谨的论证，为研究者绘制了一幅何时、为何以及如何探索多模态语法的“导航图”，对于提升该领域研究的严谨性与针对性具有显著价值。