关于视觉信息与翻译经验对字幕翻译认知负荷影响的先导研究报告

一、 研究作者、机构与发表信息

本研究由上海外国语大学的三位研究人员共同完成，分别是：肖维青教授（通讯作者，隶属上海外国语大学英语学院翻译系及脑机协同信息行为教育部重点实验室）、刘心媛博士研究生（上海外国语大学英语学院翻译系）和马明浩博士研究生（上海外国语大学英语学院翻译系及脑机协同信息行为教育部重点实验室）。研究成果以题为“The Impact of Visual Information and Translation Experience on Subtitling Effort: A Pilot Study”的学术论文形式，发表于国际翻译研究期刊 The Translator 2025年第31卷第4期（第429-450页）。论文在线发表日期为2025年12月1日，数字对象标识符（DOI）为10.¹⁰⁸⁰⁄_13556509.2025.2592644。

二、 学术背景与研究动机

本研究属于视听翻译研究领域，特别是聚焦于字幕翻译过程研究。尽管字幕翻译是一种多模态翻译实践，译者需要同时处理语言、音频和视觉信息，但关于视觉信息如何具体影响字幕翻译过程中的认知努力，以及这种影响是否因译者的翻译经验不同而存在差异，学界仍缺乏深入的实证研究。在实际行业中，有时译者可能无法获得完整的视频信息（例如，出于保密或资源限制，仅提供音频和脚本），这使得探究视觉信息在字幕翻译中的作用变得尤为关键。

在理论层面，存在两种相互竞争的认知理论对此做出不同预测。一是“有限容量信息处理理论”，认为人类处理多通道信息的能力有限，视听信息的叠加可能造成冗余，反而增加认知负荷。二是“双重编码理论”，认为语言和非语言系统通过互补的通道分别处理信息，视觉信息有助于促进认知加工，从而降低认知努力。这两种理论在视觉信息对认知努力的影响上观点相左，亟需实证检验。

此外，翻译经验（包括书面翻译经验和字幕翻译经验）对字幕翻译过程的影响也尚未完全明晰。特别是在中国语境下，虽然视听翻译行业日益重要，但相关课程在翻译教育中仍相对边缘化。许多新译者主要依靠书面翻译技能进入字幕翻译市场。因此，明确不同类型的翻译经验如何影响字幕翻译努力，对于优化翻译教学和培训具有重要意义。

基于此，本研究旨在通过眼动追踪等过程研究方法，系统探究以下三个核心问题： 1. 视觉信息对字幕翻译努力有何影响？ 2. 翻译经验（字幕翻译经验和/或书面翻译经验）对字幕翻译努力有何影响？ 3. 视觉信息与翻译经验在影响字幕翻译努力方面是否存在交互作用？

三、 研究设计与详细流程

本研究采用受控实验设计，结合问卷调查、眼动追踪和键盘记录（Keylogging）等多种数据收集方法，对英译中字幕翻译过程进行量化分析。

1. 参与者招募与分组： 研究共招募了30名参与者，并根据其翻译经验分为三组： * 专业字幕员组：10人，平均年龄29.9岁，均具有付费字幕翻译经验（平均5.9年）和书面翻译经验（平均6.5年），并接受过正式的视听翻译培训。 * 翻译学生组：10人，平均年龄24岁，来自翻译专业研究生，具有书面翻译经验（平均0.85年），但无字幕翻译经验。 * 非翻译学生组：10人，平均年龄24.6岁，来自非翻译专业（如媒体研究、管理学），无任何书面翻译或字幕翻译经验。 所有参与者均为汉语母语者，英语为第二语言。通过英语词汇水平测试（Lextale）确认三组参与者的英语水平无显著差异，排除了语言能力这一混淆变量。

2. 实验材料与变量操控： * 刺激材料：选用英国情景喜剧《是，大臣》的两个片段（A和B）。每个片段均为时长约32-33秒、包含约84个单词、14条字幕的剪辑视频。选择该剧集是因为其在中国传播有限，能减少参与者先前知识的影响，且各片段情节独立、视觉风格一致。 * 自变量： * 视觉信息条件：分为“有视觉信息”（提供完整视频）和“无视觉信息”（视频区域为黑色方块）两种条件。 * 翻译经验：分为上述三个组别。 * 因变量：字幕翻译努力，操作化为三个维度： * 时间努力：任务完成总时间。 * 技术努力：总击键次数、每秒平均击键数、总鼠标点击次数、每秒平均鼠标点击数。 * 认知努力：通过眼动指标测量，包括对源文本的平均注视时长和注视次数、对目标文本的平均注视时长和注视次数、对视频区域的平均注视时长和注视次数。为提升数据可靠性，排除了短于60毫秒和长于800毫秒的原始平均注视数据。 * 工具与软件： * 眼动仪：使用Tobii Pro Spectrum屏幕式眼动仪（采样率1200 Hz）记录凝视数据，通过Tobii Pro Lab软件进行分析。 * 键盘记录：使用InputLog软件记录击键和鼠标点击行为。 * 字幕软件：使用剪映专业版（CapCut）作为字幕制作平台，以操控视觉信息的呈现。 * 数据分析：使用R语言（RStudio环境）进行统计分析，主要采用线性混合效应模型和广义线性混合效应模型，以处理重复测量数据和计数数据。

3. 实验流程： 实验在隔音的眼动实验室中进行，每位参与者单独测试。流程如下： * 前期准备：参与者填写问卷，提供人口学信息和翻译经验数据，并完成英语水平测试。 * 任务说明：参与者学习字幕翻译指南，该指南综合了《优良字幕实践准则》和Netflix简体中文字幕风格指南。 * 练习与正式实验：参与者先完成练习任务以熟悉环境和软件。随后，以随机顺序完成两个正式的字幕翻译任务（材料A和B，分别对应“有视频”和“无视频”条件中的一个）。参与者可自由使用网络搜索，且无时间限制，但被要求尽可能高效完成。 * 数据收集：在整个字幕翻译过程中，系统同步记录参与者的眼动轨迹、击键、鼠标点击行为以及任务完成时间。

4. 数据分析流程： 研究构建了多个统计模型，分别对应不同的努力指标。模型将“视觉信息条件”和“翻译经验组别”作为固定效应，将“参与者编号”作为随机效应，并控制了“语言水平”作为协变量。对于计数数据（如注视次数），使用了广义线性混合效应模型。通过模型分析主效应和交互效应，并使用事后检验进行组间和条件间的两两比较，以详细揭示不同因素对字幕翻译努力的影响模式。

四、 主要研究结果

1. 视觉信息对字幕翻译努力的影响： 结果部分支持了研究假设H1。视觉信息主要显著降低了参与者的认知努力，而对时间和技术努力的影响不显著。 * 认知努力：当有视觉信息时，参与者对源文本的注视次数和平均注视时长均显著减少。这表明视觉信息补充了口语对话，辅助了意义构建，减少了对纯语言通道的依赖，符合双重编码理论的预测。同时，对目标文本的注视次数也显著减少，说明视觉信息可能增强了译者对已生成字幕清晰度的信心，减少了反复检查的需要。这一发现将先前关于字幕后期编辑的研究扩展到了初始字幕制作任务。 * 时间与技术努力：任务完成时间、总击键次数和鼠标点击次数在有无视觉信息条件下均无显著差异。这可能是因为字幕翻译本质上是一种“对角翻译”，译者天然优先处理语言通道以确保准确性，视觉信息的辅助作用主要体现在认知加工层面，而非直接加速操作或减少编辑动作。

2. 翻译经验对字幕翻译努力的影响： 结果部分支持了研究假设H2a，但不支持H2b。 * 专业字幕员 vs. 学生群体：专业字幕员在所有条件下都表现出最低的时间努力（任务完成时间最短）和技术努力（总击键次数最少）。在认知努力方面，他们对源文本的注视次数也显著少于两个学生组。这表明字幕翻译经验能显著提升任务执行效率和认知资源分配的优化。 * 翻译学生 vs. 非翻译学生：令人意外的是，翻译学生与非翻译学生在所有努力指标上均未表现出显著差异。这表明，单纯的书面翻译训练可能不足以培养应对多模态字幕翻译任务所需的综合能力。翻译学生甚至在某些指标（如对目标文本的注视次数）上高于非翻译学生，这与其经验背景的交互作用有关（见下文）。

3. 视觉信息与翻译经验的交互作用： 研究发现了显著的交互作用，部分支持了假设H3，这揭示了视觉信息的影响因译者经验不同而异。 * 技术努力：当有视觉信息时，专业字幕员和翻译学生的击键次数显著减少，视觉信息促进了他们的文本产出。然而，非翻译学生在有视觉信息时，鼠标点击次数反而显著增加。眼动录像显示，这主要是因为他们频繁使用鼠标拖动视频进度条以定位和确认视觉信息。对于缺乏翻译经验的参与者，视觉信息可能增加了其有限认知资源的负担，导致额外的技术操作，这符合有限容量信息处理理论的解释。 * 认知努力（源文本处理）：有视觉信息时，专业字幕员和非翻译学生对源文本的平均注视时长显著缩短，视觉信息促进了他们的理解。然而，翻译学生的平均注视时长在不同条件下无显著变化，甚至在有视频时略有增加。这表明，主要依赖书面翻译训练的译者在处理多模态信息时，视觉信息并未有效辅助其源文理解，他们可能更固守于纯语言处理策略。 * 认知努力（目标文本处理）与视频区域注视：专业字幕员对目标文本的注视次数在有视频时显著少于翻译学生。当视觉信息缺失时，专业字幕员和翻译学生都更专注于文本内容，而非翻译学生则更可能注视黑色的视频区域。这表明有翻译经验的参与者能更有效地在不同任务模式（多模态 vs. 类书面翻译）间切换。

五、 研究结论与意义

本研究是首批在中国语境下，系统比较视觉信息对不同翻译经验译者字幕翻译努力影响的实证研究之一。主要结论如下：

1. 理论意义：研究结果调和了两种认知理论。双重编码理论更好地解释了视觉信息对降低认知努力的普遍积极作用。而有限容量信息处理理论则有助于理解翻译经验（尤其是其缺失）如何调节视觉信息的影响——对于无经验的译者，额外的视觉通道可能成为认知负担。这明确了两种理论在字幕翻译语境下的解释边界。

2. 教学与实践意义：

   • 凸显视觉信息处理技能培训的重要性：研究证实，视觉信息是减轻字幕翻译认知负荷的关键因素。因此，字幕翻译教学应超越传统的语言转换训练，必须系统性地融入对视听多模态意义的解读与整合能力的培养。
   • 揭示书面翻译训练的局限性：翻译学生在任务中的表现说明，仅具备书面翻译经验不足以有效应对字幕翻译的多模态挑战，甚至可能在某些情况下阻碍其整合视觉与语言信息。这呼吁翻译课程体系需加强专门的视听翻译模块建设。
   • 为字幕翻译能力发展提供启示：专业字幕员的高效表现指向了字幕翻译能力作为一种独立综合能力的发展轨迹。这支持了Díaz-Cintas和Massidda提出的字幕翻译能力框架，即专业译者需深刻理解影视语言及图像、声音、文字之间的符号关系。

六、 研究亮点与创新

1. 研究视角的创新：首次将视觉信息与翻译经验（明确区分为字幕经验和书面经验）两个关键变量置于同一实验框架内，探究其各自及交互作用对字幕翻译过程的影响，填补了研究空白。
2. 方法论的严谨与综合：采用了眼动追踪与键盘记录相结合的过程研究方法，能更精细、客观地测量时间、技术、认知三个维度的努力，超越了以往以产品分析或主观报告为主的研究。
3. 语对与语境的贡献：聚焦英汉这一远距离语言对，为 predominantly 基于印欧语系研究的视听翻译过程领域提供了重要的东亚视角和数据补充。
4. 对教学与培训的直接启示：研究结论基于扎实的数据，明确指出了当前翻译教育中忽视多模态技能培养的潜在问题，为改革课程设计、开发针对性培训材料提供了实证依据。

七、 其他有价值的内容与研究局限

作者在文中也坦诚指出了本研究的局限性，为未来研究指明了方向： 1. 材料生态效度：实验使用的短片时长较短，未来研究可使用更长的真实影视材料，以揭示更复杂的字幕翻译行为模式。 2. 样本量与深度：尽管是探索性先导研究，但更大的样本量可能揭示更细微的组间差异。未来研究可进一步考察不同组别的字幕翻译质量差异。 3. 变量控制：未来可测量参与者的翻译能力或媒介素养，以更深入地解释组间差异。 4. 研究拓展：可进一步探究特定语言特征（如隐喻、双关语）与视觉信息之间的互动如何影响字幕翻译过程。

这项研究通过精密的实验设计，揭示了视觉信息与翻译经验在字幕翻译认知加工中的复杂作用，不仅推进了视听翻译过程研究的理论深度，也为改进字幕翻译教学与实践提供了极具价值的实证参考。