脑科学前沿报告：追踪语义组合、工作记忆存储与提取中的神经编码
2024年3月26日，国际知名期刊 《Cell Reports》 （卷43，文章号113847）在线发表了题为“Tracking the neural codes for words and phrases during semantic composition, working-memory storage, and retrieval”的研究论文。该研究由Théo Desbordes、Jean-Rémi King 和Stanislas Dehaene 共同完成，作者单位包括法国Meta AI（巴黎）、巴黎萨克雷大学-国家健康与医学研究院-原子能与替代能源委员会（Université Paris Saclay, Inserm, CEA）认知神经影像学单元、巴黎高等师范学院（PSL大学）以及法兰西公学院（PSL大学） 。这篇研究利用脑磁图（Magnetoencephalography, MEG）技术，揭示了人脑在处理和理解短语时的动态神经机制，首次系统地描绘了从词汇编码、语义组合到工作记忆存储和最终提取的完整三阶段处理模型。
一、 研究背景与目标
本研究的核心科学领域是认知神经科学，特别是其中的语言加工与工作记忆的交叉研究。人类具备将连续词汇组合成有意义短语或句子的独特能力，这被称为语义组合（semantic composition）。尽管这一过程在日常交流中毫不费力，但其背后的神经机制尚未被完全阐明。传统的理论争论主要围绕大脑如何表征组合后的意义，是保持词汇信息的“透明”或“因子化（factorized）”表征，还是将其压缩为更整体的、词汇信息不再容易被直接读取的“压缩（compressed）”格式？同时，在短语进入工作记忆（working memory, WM）后，其神经表征是持续活跃的，还是处于“静默（silent）”状态？此外，当需要从记忆中提取信息时，其速度和准确性如何受到短语结构和语义深度的影响？
基于此，本研究旨在利用高时间分辨率的MEG技术，通过解码（decoding）神经活动模式，对以下几个关键问题进行探索：（1）在短语理解过程中，单个词汇的神经表征能持续多久，其持续时间是否受短语结构影响？（2）在工作记忆延迟阶段，基于词汇的表征是否会转变为一种无法解码出单个词的、非因子化的或静默的短语表征？（3）大脑在存储短语时，是否表现出对冗余信息进行压缩的迹象？（4）在记忆提取阶段，是否存在解压缩过程，使得某些语义属性（如表面特征）比深层结构（如物体间关系）更容易、更快地被访问？通过对这些问题的解答，研究期望能更深入地理解语言组合在大脑中的实现方式。
二、 研究方法与流程
1. 实验对象与任务设计 研究招募了30名以法语为母语的健康被试（平均年龄28.4岁）。实验采用了三种类型的任务区块，以分离词汇处理、短语组合与记忆存储的不同阶段： * 单词语块（One-word blocks）：执行跨模态（词汇-图片）的一前一后匹配任务（1-back task）。被试需要在一个连续的、交替呈现单词（如“圆形”、“红色”）和图片的序列中，判断当前刺激（无论是词还是图）是否与前一刺激的含义匹配。此任务仅涉及词汇语义的单独访问，不涉及组合操作。 * 双词语块（Two-word blocks）：执行延迟的句子-图片匹配任务。被试依次阅读一个描述单个物体的两词名词短语（如“红色的圆形”），经过1秒延迟后，呈现一张图片，被试需判断图片内容是否与短语描述匹配。 * 五词语块（Five-word blocks）：执行更复杂的延迟句子-图片匹配任务。被试依次阅读一个描述两个物体及其空间关系的五词短语（如“一个红色的圆形在一个蓝色方形的左边”），经过2秒延迟后，呈现图片进行匹配判断。
2. 脑磁图（MEG）数据采集与处理 使用306通道的全头MEG系统记录被试在完成上述任务时大脑产生的磁场信号。实验分为10个区块，共收集了数千个试次（trial）的数据，确保每种实验条件都有足够的试次用于后续的多元模式分析。
3. 多元模式分析与解码方法 研究的核心在于使用机器学习方法从MEG信号中解码（decode）出特定的认知内容，主要方法如下： * 逻辑回归（Logistic Regression）：用于解码单个词汇属性（如形状：圆形/方形/三角形；颜色：红/蓝/绿；空间关系：左/右）。研究者针对每个时间点（或时间窗口）训练分类器，判断该时刻的神经活动模式对应于哪个词汇类别。解码性能通过受试者工作特征曲线下面积（Area Under the Curve, AUC）来评估。 * 线性回归（Linear Regression）：用于解码短语的语义复杂性（semantic complexity, C）。研究定义了一个量化信息量的指标C：当两个物体在形状和颜色上都相同时，C=0（高度冗余，可压缩）；仅共享一种属性时，C=1；完全不相同时，C=2。回归器被训练来从神经活动中预测每个试次的C值，评估指标为皮尔逊相关系数。 * XGBoost算法：作为一种强大的非线性分类器，用于在工作记忆延迟期尝试解码单个词汇，以检验是否存在非线性但可解码的词汇表征。 * 时间泛化分析（Temporal Generalization）：这是一种重要的分析方法，用于探究神经表征在时间上的稳定性。它测试在某一时间点训练的解码器，能否成功地应用于其他时间点的数据。 * 全局场功率（Global Field Power, GFP）分析：用于评估不同条件下大脑整体神经活动强度的差异。 * 统计检验：使用置换聚类检验（Permutation Cluster Test）来确定解码性能在时间上显著高于或低于随机水平的连续时段，并使用Mann-Whitney-Wilcoxon检验进行组间比较，同时使用错误发现率（False Discovery Rate, FDR）校正进行多重比较。
三、 主要研究结果
1. 理解阶段：词汇表征持续活跃，直至可组合成短语 * 词汇可解码性：在所有任务块中，单个词汇（形状、颜色、空间关系）都能在刺激呈现后约200毫秒从MEG信号中被成功解码。 * 表征持续时间的动态变化： * 在双词短语中，第一个词（形状名词）的神经表征会持续活跃，直到第二个词（颜色形容词）出现并被处理完毕（大约1秒后），此时颜色词的表征也变得无法解码。相比之下，在单词语块（无组合任务）中，词汇表征在刺激呈现后约700毫秒就下降到随机水平。这表明，当词汇需要与后续词汇组合时，其神经表征会被主动维持更长时间。 * 在五词短语中，第一个物体的形状和颜色表征在整个短语呈现期间（约3秒）都保持活跃，空间关系词的表征甚至持续到约4秒。第二个物体的形状表征也在其颜色词呈现期间保持活跃。这一结果有力地支持了“大脑将词汇在线保持，直至它们能被完全整合”的观点。
2. 工作记忆延迟阶段：词汇表征被压缩的短语代码取代 * 词汇解码消失：在短语呈现结束后的记忆延迟期间（例如，五词短语后的2秒延迟期），所有单个词汇属性的解码性能均降至随机水平。即使使用强大的非线性分类器XGBoost，也无法从延迟期的神经活动中解码出单个词汇。 * 短语复杂性解码浮现：与词汇解码消失形成鲜明对比的是，短语的语义复杂性（C）可以从延迟期的神经活动中被稳定地解码出来。解码在最后一个词呈现前（约2.1秒）开始出现，并持续整个延迟期，直到图片探测后。 * 神经活动强度与复杂性正相关：全局场功率（GFP）分析显示，在延迟期，大脑的整体神经活动强度与短语的语义复杂性显著正相关。复杂度越高（信息越难压缩），神经活动越强。这直接支持了信息压缩假说：大脑努力将短语压缩成更紧凑的“要点（gist）”形式进行存储，压缩程度越高（C值低），所需的持续神经资源就越少。 * 表征格式的转变：时间泛化分析显示，早期延迟期（刚完成组合时）的复杂性解码器不能很好地泛化到后期，而后期延迟期（稳定存储期）的解码器则能稳定地泛化。这表明，从组合过程到稳定存储，神经表征的格式可能发生了变化，最终形成了一个稳定的、反映信息压缩程度的“工作记忆代码”。
3. 记忆提取阶段：提取速度受复杂性和语义深度影响，符合解压缩过程 * 复杂性影响提取速度：当探测图片出现时，研究者训练分类器区分匹配与不匹配试次。结果发现，复杂度越低（C=0）的短语，其匹配/不匹配的神经信号分离发生得越早，被试的行为反应时也越快。复杂度1和2的试次则稍慢。这表明，从压缩的记忆表征中提取信息并用于比较的速度，取决于该表征的复杂程度。 * 语义深度影响提取难度：在五词短语的不匹配试次中，研究者区分了三种错误类型：（a）属性错配（Property mismatch）：改变一个物体的单一特征（表面属性）；（b）绑定错配（Binding mismatch）：交换两个物体的特征（涉及名词短语内部的组合）；（c）关系错配（Relation mismatch）：颠倒两个物体的空间关系（涉及更高层级的组合）。 * 行为结果：被试检测属性错配最快、错误率最低；检测绑定和关系错配较慢、错误率较高，其中关系错配的错误率最高。 * 神经解码结果：三类错配在神经信号中被检测到的时间顺序与行为结果一致：属性错配的解码最早出现（图片呈现后0.45秒），其次是绑定错配（0.48秒），最晚是关系错配（0.61秒）。这清晰地表明，从压缩的记忆表征中“解压缩”并访问信息是一个渐进过程：表层的、局部的语义属性（如单个特征）最先、最容易获得；而深层的、结构化的信息（如特征绑定、空间关系）则需要更多时间才能被访问。
四、 研究结论与意义
本研究得出结论：人脑对短语的处理遵循一个动态的三阶段模型： 1. 语义组合阶段：大脑以一种因子化的方式初始编码短语，即连续词汇的神经表征被主动维持，直到它们能被整合成更大的成分。表征的持续时间取决于短语结构。 2. 工作记忆存储阶段：词汇表征被转化为一个压缩的、非因子化的短语水平代码。个体词汇不再能被线性解码，但整个表征的信息量（语义复杂性）反映在持续的神经活动强度中。这支持了大脑为优化记忆存储而进行信息压缩的观点。 3. 记忆提取阶段：从压缩的存储格式中读取信息涉及一个解压缩过程。该过程的速度和准确性取决于所需访问的语义信息的深度：表面属性比深层结构属性更容易、更快地被提取。
本研究的科学价值在于： * 理论贡献：为语言组合和工作记忆的神经机制提供了新颖、整合性的框架。研究结果明确反驳了简单的“词袋（bag-of-words）”模型和纯粹的“有序列表（ordered-list）”模型，强有力地支持了压缩-解压缩模型，并揭示了因子化表征的暂时性。 * 方法学贡献：展示了结合时间分辨率高的MEG与多元模式分析（如时间泛化、复杂性解码）在揭示高级认知动态过程中的强大能力。 * 连接人工智能与神经科学：研究讨论了大语言模型（LLMs）与人类大脑在组合问题上的异同，指出人类大脑采用的压缩策略可能与当前AI模型不同，为构建更类人的AI提供了神经科学的约束和启发。 * 对人类独特性的启示：作者提出，在工作记忆中对信息进行基于符号和树状结构的压缩，可能是人类认知独特性的一个关键特征，这超越了在非人灵长类中观察到的、更基于序列顺序的工作记忆编码方式。
五、 研究亮点 1. 发现了清晰的三阶段神经处理动态：首次系统描绘了从在线组合、压缩存储到解压缩提取的完整时间进程。 2. 提出了“压缩-解压缩”核心假说并获得证据支持：通过“词汇解码消失”与“复杂性解码浮现”的分离、神经活动强度与复杂性的正相关、以及提取速度随语义深度增加而减慢等现象，为这一假说提供了多方面的坚实证据。 3. 创新性地定义了并解码了“语义复杂性”：将其作为一个量化工作记忆负载和信息压缩程度的指标，为研究高级认知的表征格式提供了新工具。 4. 揭示了因子化表征的局限性：证明虽然大脑在组合初期使用因子化编码，但在存储阶段会转向非因子化的压缩格式，这对理解神经编码的灵活性有重要意义。 5. 精细地区分了不同深度的语义错配：通过行为与神经两个层面，证明了访问不同层级语义信息的难度梯度，直观地展现了“解压缩”过程。