关于电影多模态衔接与观众场景转换理解的实证研究报告
一、 研究概况
本研究报告基于Dayana Markhabayeva（德国不来梅大学语言学与文学研究系）与Chiao-I Tseng（瑞典哥德堡大学应用信息技术系）合作进行的一项原创性实证研究。该研究以论文《Multimodal cohesion and viewers’ comprehension of scene transitions in film: an empirical investigation》的形式，于2024年3月28日发表在开放获取期刊《Frontiers in Communication》上。
二、 学术背景与研究目的
本研究属于多模态话语分析（multimodal discourse analysis）与电影认知研究的交叉领域。其核心是探讨电影叙事中一个基础而关键的问题：观众如何理解电影中不同场景之间的转换，从而构建连贯的故事世界？
长期以来，电影研究关注镜头与场景的过渡方式及其效果。从爱森斯坦到克里斯蒂安·梅茨（Christian Metz），学者们系统地分析了电影语法。近年来的研究，如Bateman (2007) 提出的“宏大聚合关系”（grande paradigmatique），着重于镜头间的时空与逻辑语义关系。与此同时，另一种机制——衔接（cohesion）——也受到关注。衔接原为语言学概念（Halliday & Hasan, 1976），指文本中通过词汇、语法等手段建立的语义关系网络，是文本连贯性的基础。Bordwell (2008) 率先将其引入电影分析，探讨视听元素如何通过重复和重现，引导观众跨越场景转换理解叙事流。Tseng (2012, 2013) 在此基础上，发展出一套系统化的电影多模态衔接分析框架，将人物、物体、场景、动作等叙事元素的呈现（presenting）与复现（presuming）模式化。
尽管该理论框架已被应用于电视剧、漫画等多种媒体分析，但其在电影中引导观众理解的具体作用，尤其是跨越不同场景和复杂时空关系时的效果，缺乏充分的实证检验。Tseng等人 (2021) 的早期眼动与理解测试研究证实了多模态衔接对观众理解单一连续场景内背景设定的重要性。本研究旨在将探索推向深入，主要研究目的为：1) 检验多模态衔接是否以及如何影响观众对不同场景间故事内容的理解；2) 探究除了衔接手段外，场景间的时空关系是否也是影响观众场景理解的重要因素；3) 进一步探索衔接、时空顺序、角色意图与观众时间感知之间的相互关系。
三、 详细研究流程与方法
本研究包含三项递进的实证研究，采用“控制变量-对比分析”的实验方法。核心思路是：选取电影片段，通过系统性地操控其衔接结构和时空顺序，创建对比性的观影情境，然后比较不同组别观众对这些情境的理解差异。测量工具主要为观影后的理解测试问卷。
研究对象：三项研究的参与者均为德国不来梅大学的本科生或员工，且均未观看过实验所用电影。总样本量超过195人（研究1: 45人；研究2: 74人；研究3: 76人），参与者被随机分配到不同的实验条件组。
研究流程详述：
研究一：检验衔接对跨场景理解的基础作用 * 研究材料：选取克里斯托弗·诺兰电影《记忆碎片》（Memento， 2000）中“纹身店”场景片段。该片段包含从街头到纹身店室内的场景转换。 * 实验操控： * 有衔接线索版本（Cued）：原始片段，包含明确标识“纹身店”的文字（招牌、纸条）、声音（纹身机声）和视觉（纹身动作特写）线索。 * 无衔接线索版本（Uncued）：对原始片段进行修改，模糊了所有指明“纹身店”的特定线索（如模糊文字、替换声音、剪掉特写动作），使室内场景变为一个泛指（generic）的空间。 * 实验设计：参与者分为两组，分别观看上述两个版本。 * 测试与数据分析：观影后立即提问：“室内场景的地点是什么？”（开放性问题）。将答案编码为“正确”（明确指出纹身店）和“错误”。使用费希尔精确检验（Fisher‘s exact test）分析两组回答正确率的显著性差异。
研究二：引入时空顺序变量，使用复杂叙事结构电影 * 研究材料：选取《记忆碎片》开篇七分钟的复杂片段，包含四个场景（S1-S4），以彩色/黑白、顺叙/倒叙交替的非线性方式呈现。 * 实验操控：采用2x2因子设计，两个自变量为： 1. 衔接线索：有线索版本（原始片段，包含明确指代“汽车旅馆”的台词和视觉文字）；无线索版本（移除“汽车旅馆”相关台词，并修改招牌文字）。 2. 时空顺序：原片非时序版本（S1-S2-S3-S4）；重编辑时序版本（按故事实际发生顺序 S2-S4-S3-S1 重新剪辑）。 * 实验设计：参与者被分为四组，分别对应四种条件组合（有线索+原序；有线索+时序；无线索+原序；无线索+时序）。 * 测试与数据分析：提出两个问题：1) “黑白场景的设置地点是哪里？”（开放性问题，答案编码为正确/错误）；2) “从角色视角看，黑白场景发生在彩色场景之前。”（5点李克特量表，1=完全不同意，5=完全同意）。使用逻辑回归分析问题1，使用对齐排序转换（Align-and-Rank Transform， ART）检验分析问题2，探究两个自变量及其交互作用的影响。
研究三：使用线性叙事电影，并扩展测量维度 * 研究材料：选取诺拉·艾芙隆电影《朱莉与朱莉娅》（Julie & Julia， 2009）中一个线性叙事片段，包含四个场景：家中客厅、街头、肉店、家中厨房。 * 实验操控：同样采用2x2因子设计。首先，为控制变量，移除了所有片段中的对白和画外音（用配乐替代），然后进行操控： 1. 衔接线索：有线索版本（保留肉店特定的视觉线索，如店名文字、肉制品、屠夫服装）；无线索版本（移除所有表明肉店身份的视觉线索，使店铺变为一个普通商店）。 2. 时空顺序：原始顺序版本（S1客厅-S2街头-S3肉店-S4厨房）；替代顺序版本（S4厨房-S1客厅-S2街头-S3肉店），将烹饪场景置于访问商店之前，可能增强对商店类型的推理。 * 实验设计：参与者分为四组，分别对应四种条件组合。 * 测试与数据分析：问卷包含更多维度的问题： 1. 场景身份理解：“女性角色与另一个男人交谈时身处何种地方？”（开放性问题，答案按准确性评0-3分）。 2. 角色意图理解：“你认为她为什么去那里？”（开放性问题，答案按准确性评0-3分）。 3. 自信度：对上述回答的自信程度（5点李克特量表）。 4. 时间感知：估计片段中事件发生的时长（选项：2小时、4小时、1天、超过1天）。 *数据分析*：使用ART检验分析问题1、2、4；使用双因素方差分析（Two-way ANOVA）分析问题3（自信度）。
研究方法特点：本研究方法的核心创新与特殊性在于将系统化的多模态语言学分析框架（Tseng, 2013）与受控的心理学实验相结合。研究者并非随意选择或修改电影片段，而是基于详尽的衔接链（cohesive chain）分析（如图3、6、10所示），精准定位并操控那些在理论上承担着引导叙事连贯性关键功能的特定多模态元素（文字、声音、视觉细节）。这种“文本分析指导实验设计”的方法，确保了实验操控具有明确的理论依据和针对性，使得实验结果能够直接反馈并验证语言学模型的预测力。
四、 主要研究结果
研究一结果：衔接线索对跨场景地点识别有显著影响。观看有线索版本的所有23名参与者（100%）都正确识别出纹身店，而观看无线索版本的22名参与者中只有13人（59%）答对。统计检验显示差异极显著（p = 0.0006）。这首次在跨场景（而非单一场景）情境下，实证了多模态衔接线索对观众准确理解场景身份的关键作用。
研究二结果： 1. 场景身份理解（汽车旅馆）：衔接线索再次显示出显著主效应（p = 0.0199），有线索组能更准确地识别“汽车旅馆房间”。时空顺序的主效应不显著（p = 0.92763）。交互作用也不显著。逻辑回归的比值比（Odds Ratio）分析显示，在控制时空顺序不变的情况下，移除衔接线索会使正确理解的几率下降87%；而在控制衔接线索不变的情况下，采用时序顺序仅使正确理解的几率微增5.3%。 2. 时空关系理解（黑白与彩色场景顺序）：衔接线索同样具有显著主效应（p = 0.0156）。观看有线索版本的参与者更倾向于同意“黑白场景发生在彩色场景之前”这一符合故事逻辑的判断。时空顺序（即影片剪辑顺序）的主效应不显著（p = 0.1379）。这表明，在这个复杂的谜题电影片段中，具体的多模态衔接线索比宏观的剪辑顺序更能引导观众构建正确的时空关系。
研究三结果： 1. 场景身份理解（肉店）：衔接线索的主效应显著（p < 0.05），有线索组得分更高。时空顺序的主效应也显著（p = 0.038），观看替代顺序（厨房场景在前）的参与者识别肉店的准确性更高。这表明在叙事线性的电影中，场景的时空排列顺序本身也能成为一种引导推理的线索（例如，看到烹饪后去商店，更容易推断是食品店）。两者无显著交互作用。 2. 角色意图理解（朱莉去商店的目的）：衔接线索的主效应显著（p = 0.013），有线索组能更准确地推断朱莉是去“购买烹饪食材”。时空顺序的主效应不显著。 3. 观众自信度：衔接线索对参与者的回答自信度有极显著的主效应（p < 0.001）。有线索组的参与者对自己的判断明显更有信心。时空顺序无显著影响。 4. 时间感知：时空顺序对观众感知的事件时长有显著主效应（p = 0.024）。观看原始顺序（客厅-街头-肉店-厨房）的参与者估计的事件时长，比观看替代顺序（厨房-客厅-街头-肉店）的参与者更长。研究者推测，这可能是因为原始顺序中场景空间转换更多（家-街-店-家），而替代顺序以两个连续的家庭空间（厨房-客厅）开始，造成了事件时间更紧凑的感知。衔接线索对时间感知无显著影响。
结果逻辑关系：三项研究层层递进。研究一在基础层面证实了衔接线索对跨场景身份识别的作用。研究二在此基础上引入时空顺序变量，发现在复杂的非线叙事中，衔接线索的作用压倒性地强于剪辑顺序，主导着观众对场景身份和时空关系的理解。研究三则在线性叙事中验证了研究二的发现（衔接线索的核心作用），并进一步揭示：在线性叙事中，时空顺序也能独立影响场景理解；同时，衔接线索不仅影响理解的准确性，还影响理解的自信度；此外，时空顺序会影响观众对事件时长的感知。这些结果共同勾勒出衔接、时空、意图、时间感知等多个叙事认知维度之间复杂而具体的关联图景。
五、 结论与价值
本研究通过三项精心设计的实证研究，系统性地验证并拓展了多模态衔接理论在电影认知研究中的应用。主要结论如下： 1. 多模态衔接是观众理解电影场景转换的核心机制：无论是在连续场景内还是跨越不同场景，无论是在复杂的谜题电影还是线性叙事电影中，电影制作者通过视觉、听觉、文字等模式设置的衔接线索，对于观众准确识别场景身份、推断角色意图、建立叙事连贯性具有至关重要的作用。移除这些线索会显著降低观众的理解准确性和自信度。 2. 时空关系与衔接的交互影响因叙事结构而异：在非线性、碎片化的叙事（如《记忆碎片》）中，具体的衔接线索比整体的场景剪辑顺序更能引导观众理解；而在线性叙事中，场景的时空排列顺序本身也能成为有效的理解线索，并与衔接线索共同作用。 3. 衔接影响认知的多个层面：本研究表明，多模态衔接不仅影响“理解了什么”（内容准确性），还影响“对理解的把握程度”（自信度）。同时，研究初步探索了时空顺序如何影响观众对事件时长的主观感知，为理解电影中时间与空间的心理学关联提供了新线索。
研究的科学价值：本研究成功地将系统功能语言学框架下的多模态话语分析方法与认知科学的实验方法相结合，为电影叙事理解提供了一种精细且可验证的语义学模型。它超越了传统的、描述性的电影理论，通过受控实验揭示了特定电影形式特征（衔接手段）与观众认知结果（理解、自信、时间感）之间的因果关系，推动了电影研究向更实证、更精细的方向发展。
研究的应用价值：研究成果对电影、电视剧、动画等视听内容的创作、分析与教学具有启示意义。创作者可以更自觉地运用多模态衔接手段来有效地引导观众、构建叙事连贯性或制造特定的认知效果（如悬念、困惑）。对于影视教育、视听翻译、无障碍视听服务（如为视障人士制作口述影像）等领域，本研究提供了关于如何通过视听元素有效传递叙事信息的理论基础和实证依据。
六、 研究亮点
七、 其他有价值的内容与未来方向
研究者在讨论部分提出了未来值得深入探索的方向： 1. 观众文化背景的影响：有参与者指出，电影中出现的肉店类型在其本国更常见。这提示，观众的文化知识和生活经验可能影响其对特定场景中衔接线索的敏感度和解读方式，未来研究可将文化背景作为变量纳入。 2. 事件理解中各因素的交互关系：研究三发现空间（衔接线索）显著影响对角色意图的理解，而时间（顺序）的影响不显著。这挑战了事件认知模型中空间、时间、意图等因素同等重要的假设，未来需要更多研究来厘清这些因素在电影叙事理解中的具体互动模式。 3. 时空感知的深层机制：关于时空顺序影响事件时长感知的发现（空间连续可能导致时间感知缩短）提出了一个有趣的假设，即电影中的空间并置可能影响心理时间模型的构建，这为研究电影时空美学与认知心理学的关系开辟了新路径。
这项研究是多模态研究与认知电影学一次富有成效的交叉实践，它不仅实证了多模态衔接理论的有效性，也为后续从文本分析、认知实验乃至神经科学等多角度深入研究电影如何创造意义、观众如何理解故事，提供了扎实的方法论基础和富有启发的发现。