分享自:

自动字幕提高同声传译准确度并降低认知负荷

期刊:John Benjamins Publishing CompanyDOI:10.1075/intp.00111.li

这篇文档属于类型a,即报告了一项原创研究的学术论文。以下是基于文档内容生成的学术报告:

本研究的主要作者是Tianyun Li和Agnieszka Chmiel,分别来自山东大学和波兰波兹南的亚当·密茨凯维奇大学。该研究于2024年9月16日在线发表在期刊《Interpreting》上。

学术背景

本研究的主要科学领域是口译研究,特别是同声传译(Simultaneous Interpreting, SI)中的认知负荷和自动语音识别(Automatic Speech Recognition, ASR)技术的应用。同声传译是一项高度复杂的认知任务,涉及多任务处理,包括听、记忆和产出。尽管有研究表明,视觉输入(如文本)可能有助于减轻口译员的认知负荷,但也有研究指出,视觉信息可能会干扰听觉信息,增加认知负荷。随着ASR技术的发展,实时生成的字幕(ASR字幕)为口译员提供了新的辅助工具。然而,ASR字幕的精确度及其对口译员认知负荷的影响尚未得到充分研究。因此,本研究旨在探讨ASR字幕的存在及其精确度如何影响口译员的认知负荷和口译准确性。

研究流程

本研究包括五个主要步骤:实验设计、数据收集、数据分析、结果解释和结论总结。

  1. 实验设计
    研究邀请了23名波兰职业会议口译员参与实验。实验材料基于肯尼亚前总理Raila Odinga的一次演讲,演讲被分为五个部分,每部分长度相等。实验设置了五种条件:无字幕的基线条件,以及四种不同精确度的ASR字幕条件(100%、95%、90%和80%)。字幕的精确度通过模拟ASR错误来实现,包括替换、插入和删除等错误类型。

  2. 数据收集
    实验在波兰波兹南的隔音实验室中进行。口译员在实验过程中佩戴脑电图(EEG)设备,用于记录theta波功率,同时使用眼动仪记录他们的注视行为。此外,口译员在每次实验后填写NASA-TLX问卷,以自我报告认知负荷。实验过程中,口译员需要在不同条件下进行同声传译,每种条件对应演讲的一个部分。

  3. 数据分析
    数据分析包括对口译准确性的评估、NASA-TLX问卷的分析、眼动数据的分析以及EEG数据的分析。口译准确性通过分类关键项(专有名词、数字和内容词)的翻译结果进行评估。NASA-TLX问卷用于评估口译员的主观认知负荷。眼动数据用于分析口译员对字幕和演讲者的注视时间比例。EEG数据通过功率谱密度(PSD)分析和时间-频率分析来评估theta波功率的变化。

  4. 结果解释
    研究结果显示,ASR字幕的存在显著提高了口译准确性,尤其是在字幕精确度为90%或更高时。然而,字幕的精确度对口译员的自我报告认知负荷没有显著影响。眼动数据显示,口译员在字幕上的注视时间显著多于在演讲者上的注视时间,且字幕精确度对注视时间没有显著影响。EEG数据显示,theta波功率在100%和80%精确度的字幕条件下有所下降,但在90%和95%精确度的字幕条件下没有显著变化。

  5. 结论总结
    本研究得出结论,ASR字幕的存在可以提高口译准确性,并且字幕精确度为90%或更高时效果最佳。尽管字幕增加了额外的信息通道,但其通过视觉提示带来的认知收益抵消了处理字幕的认知成本。研究还发现,字幕精确度对口译员的客观认知负荷(通过EEG测量)有复杂的影响,尤其是在字幕精确度较低时,口译员可能会减少对字幕的依赖。

主要结果

  1. 口译准确性
    研究结果显示,所有字幕条件下的口译准确性均显著高于无字幕条件。数字和专有名词的翻译准确性显著高于内容词。字幕精确度为90%或更高时,口译准确性达到最佳水平。

  2. 自我报告认知负荷
    尽管字幕的存在提高了口译准确性,但口译员在NASA-TLX问卷中报告的主观认知负荷在不同字幕条件下没有显著差异。仅在80%精确度的字幕条件下,口译员报告的时间需求显著高于无字幕条件。

  3. 眼动数据
    眼动数据显示,口译员在字幕上的注视时间显著多于在演讲者上的注视时间。字幕精确度对注视时间没有显著影响。

  4. EEG数据
    EEG数据显示,theta波功率在100%和80%精确度的字幕条件下有所下降,但在90%和95%精确度的字幕条件下没有显著变化。这表明字幕精确度对口译员的客观认知负荷有复杂的影响。

结论与意义

本研究首次结合了EEG和眼动仪来研究ASR字幕对同声传译的影响,揭示了字幕在提高口译准确性和降低认知负荷方面的潜力。研究结果为ASR技术在口译中的应用提供了科学依据,并为未来的口译培训和ASR字幕精确度的标准制定提供了参考。

研究亮点

  1. 重要发现
    研究发现,ASR字幕的存在显著提高了口译准确性,尤其是在字幕精确度为90%或更高时。此外,字幕通过视觉提示带来的认知收益抵消了处理字幕的认知成本。

  2. 方法创新
    本研究首次结合了EEG和眼动仪来研究ASR字幕对同声传译的影响,提供了多维度数据支持。

  3. 研究对象的特殊性
    研究聚焦于职业会议口译员,研究对象具有较高的专业性和代表性,研究结果对实际口译工作具有重要指导意义。

其他有价值的内容

本研究还探讨了字幕精确度对口译员认知负荷的复杂影响,尤其是在字幕精确度较低时,口译员可能会减少对字幕的依赖。这一发现为未来的研究提供了新的方向,即如何在不增加认知负荷的情况下提高字幕的辅助效果。

通过本研究,我们不仅深入了解了ASR字幕在同声传译中的作用,还为未来的口译技术发展和培训提供了科学依据。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com