该文档属于类型a，即报告了一项单一原创研究的学术论文。以下是基于文档内容的详细学术报告：

主要作者及机构、发表期刊和时间

该研究由Tianyun Li和Agnieszka Chmiel共同完成，分别来自山东大学和波兰波兹南的亚当·密茨凯维奇大学。研究于2024年9月16日在线发表在《Interpreting》期刊上。

学术背景

该研究属于翻译学与认知科学交叉领域，探讨了自动语音识别（Automatic Speech Recognition, ASR）技术生成的字幕对同声传译（Simultaneous Interpreting, SI）准确性和认知负荷的影响。同声传译是一种高度复杂的认知任务，涉及多任务处理，包括听、记忆和产出。研究表明，同声传译员在执行任务时通常处于认知饱和状态，尤其是在多模态输入（如视听信息）的情况下，认知负荷可能进一步增加。随着ASR技术的发展，实时生成的字幕为传译员提供了额外的视觉信息，但其对传译员认知负荷的影响尚未达成共识。因此，该研究旨在探索ASR字幕的存在及其精确度如何影响同声传译的准确性和认知负荷。

研究流程

研究分为以下几个步骤：

1. 实验设计
   研究招募了23名波兰自由职业会议传译员，要求他们以英语为源语言、波兰语为目标语言进行同声传译。实验材料为一段由非母语英语者（智利口音）录制的演讲视频，视频分为五个部分，每部分长度相等。字幕通过ASR技术生成，并设置了五种条件：无字幕（基线）以及字幕精确度分别为100%、95%、90%和80%的四种条件。

2. 数据收集
   实验在波兰波兹南的隔音实验室中进行，使用了多种测量工具：

   • NASA-TLX量表：用于测量传译员自我报告的认知负荷。
     
   • 眼动追踪：记录传译员在字幕和演讲者之间的注视时间。
     
   • 脑电图（EEG）：通过θ波功率（theta power）测量认知负荷。
     

3. 数据处理

   • 字幕生成与调整：使用Python脚本将YouTube生成的字幕转换为SRT格式，并模拟ASR错误，以生成不同精确度的字幕版本。
     
   • EEG数据预处理：使用EEGLAB工具箱进行数据过滤、重参考和伪迹去除。
     
   • 数据分析：采用线性混合效应模型（Linear Mixed-Effects Model）分析数据，比较不同条件下传译员的准确性、认知负荷和眼动行为。

主要结果

1. 准确性
   研究发现，字幕的存在显著提高了传译准确性，尤其是在字幕精确度为90%及以上的条件下。传译员在无字幕条件下的平均准确率为27%，而在字幕条件下的准确率提升至41%至55%。数字和专有名词的翻译准确性高于内容词，这可能是因为它们在视觉上更显著。

2. 自我报告的认知负荷（NASA-TLX）
   与预期相反，字幕的存在并未显著增加传译员自我报告的认知负荷。只有在字幕精确度为80%的条件下，传译员报告的时间需求（temporal demand）有所增加。

3. 眼动追踪
   传译员在字幕上的注视时间显著长于在演讲者上的注视时间，表明他们的视觉注意力主要集中在字幕上。然而，字幕精确度对注视时间没有显著影响。

4. EEG数据（θ波功率）
   EEG数据显示，在字幕精确度为100%和80%的条件下，传译员的θ波功率显著降低，表明认知负荷有所减少。然而，在精确度为90%和95%的条件下，θ波功率没有显著变化。

结论

研究表明，ASR字幕的存在可以提高同声传译的准确性，同时降低传译员的认知负荷。字幕精确度为90%及以上时，对传译准确性的提升效果最佳。然而，传译员可能过度依赖字幕，导致在字幕错误时重复错误。研究还揭示了字幕对传译员认知负荷的复杂影响：一方面，字幕通过视觉提示减轻了认知负荷；另一方面，字幕作为额外的信息通道，可能增加处理负担，尤其是在视听信息不一致的情况下。

研究亮点

1. 多维度测量：研究结合了自我报告、眼动追踪和EEG数据，全面评估了ASR字幕对传译员的影响。
   
2. 创新性实验设计：通过模拟ASR错误，生成了不同精确度的字幕版本，为研究提供了精确的实验条件。
   
3. 实践意义：研究结果为ASR字幕在同声传译中的应用提供了科学依据，建议字幕精确度应保持在90%以上，以提高传译效果。

其他有价值的内容

研究还探讨了传译员在处理视觉和听觉信息时的认知机制，为未来研究提供了新的方向。例如，如何减少传译员对字幕的过度依赖，以及如何在多模态输入条件下优化传译员的认知资源分配。此外，研究还提出了未来研究中可以改进的技术细节，如更精细的眼动追踪分析和更复杂的EEG数据处理方法。