分享自:

口语词汇识别中连续吸引向语音竞争者的手部运动轨迹

期刊:Proceedings of the National Academy of Sciences of the United States of AmericaDOI:10.1073/pnas.0503903102

本研究由 Michael J. Spivey(康奈尔大学心理学系)、Marc Grosjean(马克斯·普朗克人类认知与脑科学研究所心理学系,现任职于多特蒙德大学职业生理学研究所)和 Günther Knoblich(罗格斯大学心理学系)共同完成,论文发表于《美国国家科学院院刊》(PNAS),2005年7月19日,第102卷第29期,页码10393–10398。研究受美国国家心理健康研究所基金(R01-63961)及马克斯·普朗克人类认知与脑科学研究所心理学系资助。

学术背景

该研究属于心理语言学与认知科学的交叉领域,核心关注言语感知过程中词汇表征的动态激活与竞争机制。传统模块化阶段模型认为,言语处理按照离散的阶段性步骤进行,各子系统只有在形成稳定且唯一的表征后,才将信息传递至下一处理阶段。然而,眼动研究已表明,在听词过程中,多个语音相似词(“cohort”,语音竞争词)会被并行部分激活,例如看到“candle”(蜡烛)和“candy”(糖果)时,听“candle”仍可能注视“candy”。但眼动证据本质上基于离散注视的分类数据进行平均,难以完全排除阶段式处置的可能性。本研究旨在用连续的手部运动轨迹作为认知加工的动态输出,直接检验语音竞争词吸引力是否连续、实时地作用于词汇激活与运动输出系统,为语言处理的连续动态模型提供更强证据。

研究流程

实验对象为42名康奈尔大学本科生。研究采用视觉情景与听觉指令结合的任务。参与者面对屏幕上方左右各呈现的物体图像,同时收听预录语音命名目标物体。实验条件分为语音竞争条件(cohort condition,干扰物体名称与目标词语音重叠,如“candle”与“candy”)与控制条件(control condition,干扰物名与目标词无语音相似,如“candle”与“jacket”)。共8个目标物体,32个试次,目标位置左右随机。参与者先点击屏幕下方中央方块开始试次,图像出现后500毫秒语音呈现目标词(平均时长532毫秒)。该时间差来自预实验优化,目的是让参与者在语音开始前发起手部运动,使声学语音输入在运动中影响连续动作。鼠标坐标以约36赫兹采样,每个试次约采集30–60个空间位置点,时间全程约1400毫秒。

运动轨迹处理方法:首先将各轨迹起点对齐至(0,0),再将运动时间归一化为101个时间片,每个时间片通过线性插值计算对应x、y坐标,并将像素坐标转换为厘米。然后分析平均轨迹的几何偏转、目标与干扰物的欧几里得邻近度(proportional Euclidean proximity),并计算轨迹曲率面积(轨迹与起点—终点直线的面积差)以表征向干扰物的吸引力偏转程度。曲率值在各参与者内部进行z分数标准化后汇总。该研究还基于TRACE口语词汇识别模型与归一化递归吸引子网络,开发了模拟程序。TRACE模型提供14个词条随时间的激活值,将这些连续值输入由14个词条节点、14个视觉节点和14个整合节点组成的局部吸引子网络,通过归一化反馈方程使词条节点与视觉节点相互竞争。视觉节点根据概率在每一时间步被随机采样,驱动鼠标位置在x、y方向上的增量,模拟手部移动轨迹。加入反向高斯速度包络和接近目标时减速因子,使模拟运动更贴合人类运动速度曲线。

主要结果

行为结果显示,语音竞争条件错误率8.9%,显著高于控制条件2.5%。总反应时间语音竞争条件平均1812毫秒,显著长于控制条件1717毫秒;但运动启动时间无差异(335对357毫秒),而运动中持续时间差异显著(1477对1360毫秒)。平均移动路径长度语音竞争条件30.36厘米,控制条件26.68厘米,提示语音竞争在手部运动中产生了额外空间吸引。

平均轨迹形态上,当目标在左侧时,两种条件在第70至81时间片的x坐标差异连续显著;目标在右侧时,第9至92时间片几乎全程显著。语音竞争条件轨迹在初始较长时段沿中线夹在两个物体之间上升,而控制条件较早偏向目标方向。同类分析还发现,语音竞争条件下对干扰物的邻近度从第4至93时间片显著高于控制条件,而对目标的邻近度从第66至91时间片显著低于控制条件,说明语音竞争词的词汇表征以连续而分级的方式拉动手部运动轨迹。

曲率分布检验排除了明显双峰性,语音竞争条件z分布的双峰系数0.381,控制条件0.366,均低于多峰临界值0.555。Kolmogorov–Smirnov正态性检验中,语音竞争条件z分布与其同均值方差的正态分布差异边际显著(p=0.054),控制条件差异显著(p=0.023),但其偏差均呈高峰度,说明分布比正态更尖锐单峰,距双峰更远。对两条件分别进行z分数后,Kolmogorov–Smirnov比较显示控制与语音竞争z分布形态无显著差异(p>0.9999),进一步支持连续偏转数据并非来自两类离散试次的平均。

模拟结果与人类数据在整体模式上高度一致:模拟轨迹在语音竞争条件先上升至两物体中点区域,再转而向目标;邻近度曲线与人类数据均方根误差0.0625,r²=0.76(p<0.0001)。模拟曲率z分布均值0.114、方差0.997、峰度−0.520、偏度−0.027,呈正常分布,说明仿真的连续动力学可再现人类连续吸引效应。人类控制条件z分布与模拟控制条件z分布存在显著差异(p=0.007),主要在峰度与偏度,但语音竞争条件的分布差异不显著(p=0.142)。

结论与意义

该研究通过记录连续鼠标运动轨迹,揭示了言语识别过程中声学—语音输入的实时累积与多个词汇表征间的动态竞争。语音竞争词的词汇激活幅度部分地被连续映射到手部运动的横向偏转上,每次单个运动轨迹的曲线偏转均是渐进的,而非二值的注视式切换。该结果为连续信息级联、并行部分激活的心理学理论提供了强有力支持,并表明语言处理中的吸引子动力学可以在二维动作空间中可视化。研究还提出了一个将TRACE模型的词条激活与运动输出的连续机制连接起来的计算框架,提供了从内部认知过程到外部动作的直接映射方案。在方法学上,手部运动相对于眼跳更具空间灵敏度,能提供更细粒度的竞争过程记录,补充了传统眼动的瞬时灵敏度。该研究为实时语言理解、动态竞争与认知—动作耦合提供了重要实验范式与理论依据,具有广泛的可迁移应用价值。

上述解读依据用户上传的学术文献,如有不准确或可能侵权之处请联系本站站长:admin@fmread.com