由中国科学院心理研究所的林南研究员和自动化研究所的张霄寒博士作为共同第一作者，中国科学院大学心理学院的王秀裔研究员和自动化研究所的王少楠研究员共同合作完成的学术论文《The organization of the semantic network as reflected by the neural correlates of six semantic dimensions》，于2024年1月31日在线发表于神经科学与语言学的交叉学科期刊《brain & language》上。这项研究旨在深入探究人类大脑语义网络的组织结构，特别是其如何沿着多种感官-运动及非感官-运动语义维度进行功能组织。

学术背景 语义处理是人类日常思维的核心，但其神经基础尚未完全阐明。经典的神经生物学模型，如Binder等人（2009）提出的“通用语义网络”（general semantic network），认为大脑中一系列特定的脑区（包括外侧颞顶叶、内侧顶叶、内侧颞叶、外侧前额叶和内侧前额叶皮层）共同支持语义加工。后续研究，尤其是Fernandino等人（2016）的工作，强调了感官-运动经验在语义表征中的重要性，提出了一个由对不同感官-运动维度（如视觉、运动）具有选择性的脑区，以及能汇聚多种感官-运动信息的“异模态枢纽”（heteromodal hubs）所构成的分层语义表征模型。另一个重要的理论发展是Xu等人（2016, 2017）基于静息态功能连接性（resting-state functional connectivity， rsfc）提出的双重编码框架。他们将通用语义网络进一步细分为三个子网络：多模态经验语义系统（multimodal experiential semantic system），主要与经验性的感官-运动语义相关；语言支持的语义系统（language-supported semantic system），主要与语言符号的抽象语义相关；以及语义控制系统（semantic control system）。前两个表征系统通过位于双侧角回（angular gyrus）、左前颞叶和左背外侧额叶的连接枢纽（connector hubs）相互连接。

除了感官-运动维度，越来越多的研究表明非感官-运动维度，如社会性（socialness）、情绪（emotion）、空间（space）和时间（time），在语义表征中同样至关重要。然而，以往的研究大多仅考察其中少数几个维度，这使得我们不清楚大脑中多个感官-运动及非感官-运动维度的神经关联是如何重叠或分离的，从而难以全面描绘语义系统的精细图谱。

因此，本研究旨在填补这一空白。研究团队设定了三个核心科学问题：第一，视觉、运动、社会性、情绪、空间和时间这六个代表性语义维度的神经关联分别位于大脑何处？第二，是否存在对特定语义维度具有选择性的脑区？第三，不同语义维度的神经关联在何处相互重叠？他们进一步预测，根据Xu等人的模型，对特定维度具有选择性的脑区应主要位于上述三个核心语义子网络之外；而作为连接枢纽的语言支持语义系统及其周边区域，由于其通过符号表征支持所有类型的语义知识，预计会对大多数（如果不是全部）语义维度敏感。

详细研究流程 本研究巧妙地整合了两个新近发布的大型数据集，构成了方法论上的核心创新。

1. 数据来源与整合：

   • 功能磁共振成像（fMRI）数据：来自“用于研究大脑语言处理的同步多模态神经影像数据集”（SMN4Lang）。该数据集包含12名健康汉语母语者在聆听60段自然故事时的fMRI数据。使用自然叙事材料而非孤立的词语，能够更真实地反映语境化、灵活的语义处理过程。
   • 语义评分数据：来自“六语义维度数据库”（SSDD）。该数据库包含了17，940个常用汉语词汇在上述六个语义维度上的主观评分。SMN4Lang故事材料中93.75%的词语都包含在SSDD的评分数据中。
   • 研究逻辑：通过分析SMN4Lang fMRI数据中的神经活动如何受到SSDD提供的词语语义评分调制，来揭示自然听觉理解过程中六个语义维度的神经关联。

2. fMRI数据预处理：采用人脑连接组计划（HCP）的最小预处理流程，包括结构像对齐与标准化、功能像畸变校正、头动校正，并将时间序列映射到标准的皮层表面空间（CIFTI格式），以便于后续基于顶点的分析。

3. 神经活动建模与分析：

   • 回归模型构建：研究采用了两种回归模型来建模语义维度效应。
     • 完整模型：同时将六个语义维度的评分作为回归因子纳入模型。该模型旨在控制其他维度的影响后，识别特定维度独有的神经关联。但会掩盖维度间的共享方差。
     • 简单模型：分别构建六个模型，每个模型只包含一个语义维度作为回归因子。该模型能揭示对特定维度敏感的脑区，无论这种敏感性是来自该维度的独特方差还是与其他维度的共享方差，因此更有可能识别出对共享方差敏感的语义网络枢纽区域。
   • 控制变量：在模型中还加入了词语呈现速率、声音包络、词频、音节长度以及头动参数作为控制变量，以排除低阶感知和语言变量的影响。
   • 统计分析：将每个参与者的60轮数据分成30个部分进行独立回归分析，然后在组水平上对回归系数进行平均并执行t检验。采用基于顶点（vertex-wise）的FDR校正（q < 0.05）和团块大小阈值来确定显著脑区。此外，还进行了个体水平的分析以生成概率图谱，确保结果的个体普遍性。

4. 特异性与重叠性分析：

   • 特异性神经关联：使用两种方法从完整模型的结果中识别对特定维度具有选择性的脑区。
     1. 基于重叠的方法：找出对某一维度显著而对其他五个维度均不显著的脑区。
     2. 基于联合分析的方法：找出对某一维度的响应显著强于其他五个维度中每一个的脑区（即五个对比的联合）。该方法更为保守。
   • 重叠性神经关联：基于个体水平的简单模型结果，计算每个参与者大脑中对一个、两个、三个、四个、五个或全部六个语义维度敏感的脑区，然后跨参与者生成概率图谱，以揭示可靠的神经重叠区域。

5. 网络分布分析：将分析得到的特异性及重叠性脑区与两个预先发表的脑网络分区图进行对比。

   • Kong等人（2021）的17个固有网络分区图：用于考察结果在大尺度脑网络（如默认网络A/B/C、语言网络、控制网络等）中的分布，反映其功能同质性。
   • Xu等人（2016）的语义三子网络分区图：用于直接检验研究结果与多模态经验语义系统、语言支持的语义系统及语义控制系统的空间关系，验证基于双重编码框架的预测。

主要研究结果 1. 各语义维度的神经关联：简单模型和完整模型的结果总体上相似，并复现了大量先前研究发现。例如，视觉语义（视觉意象性）效应出现在角回、楔前叶/后扣带回、海马旁回和梭状回；运动语义效应出现在中央前回、缘上回和后部颞上沟；社会性语义效应出现在前外侧颞叶、颞顶联合区、内侧前额叶皮层、后扣带回和楔前叶；情绪语义效应出现在内侧前额叶皮层和下顶叶；空间语义效应出现在额上回、下顶叶、海马旁回、后扣带回和楔前叶；时间语义效应出现在后扣带回、楔前叶、下顶叶、额下回和颞上沟。简单模型比完整模型识别出了更多跨维度的共同激活脑区，这被认为是维度间共享方差驱动的结果。

1. 特异性神经关联：基于重叠的方法显示，所有六个语义维度都存在多个具有选择性的脑区。这些特异性脑区不仅分布在相对远离语义枢纽的区域，也存在于先前被认为是表征一般或多模态语义的网络内部，甚至部分位于Xu等人定义的语言支持的语义系统内部。这一发现挑战了现有模型认为这些高级网络区域仅对一般或抽象语义敏感的假设。例如，对社会性语义具有高度选择性的脑区大量分布于默认网络内部。此外，研究还发现了一些在以往词语理解任务中较少报告的效应，可能反映了叙事理解的特殊过程：

   • 左侧额下沟/额下交界处对视觉语义有最大的选择性集群，可能与叙事中生动的视觉意象模拟有关。
   • 大量听觉皮层（尤其是右侧）对时间语义有选择性，可能反映了叙事情境建模中对时间感知的模拟。
   • 双侧颞上皮质对运动语义有广泛选择性，但研究者认为这可能反映的是对动作的抽象特征（如心理状态和意图）而非具体运动细节的加工，这与叙事理解更关注行为意图的抽象层面相符。

2. 重叠性神经关联：基于简单模型的个体概率图谱显示，对多个语义维度敏感的重叠脑区主要集中在默认网络内部，并且随着重叠维度数量的增加，其分布越来越集中于两个关键区域：左侧前部颞上回和左侧角回。这两个区域恰好是Xu等人模型中连接多模态经验语义系统和语言支持的语义系统的两个“连接枢纽”。在完整模型（屏蔽共享方差后）中，重叠区域大大减少，且仍主要分布在这两个区域，进一步证明了它们是整合多种语义信息的枢纽。

3. 网络分布验证：网络分布分析部分支持了Xu等人的模型预测。首先，大多数特异性脑区确实位于三个语义子网络之外。然而，仍有超过20%的视觉、运动和社会性语义特异性脑区位于这三个网络内部，表明选择性脑区的分布比预想的更广。其次，关于重叠性脑区，正如预测的那样，位于两个表征子系统（多模态经验系统和语言支持系统）的比例远高于语义控制系统，并且这一比例随着重叠维度数量的增加而增加。左侧前颞上回和角回这两个最可靠的重叠枢纽，正位于Xu模型定义的连接枢纽位置。

结论与意义 本研究通过结合大规模语义评分和自然叙事fMRI数据，首次系统性地考察了六个代表性语义维度在自然语言理解中的神经关联及其组织规律。主要结论是，人类大脑的语义图谱比当前神经生物学模型预测的更为复杂： * 一方面，存在着对特定语义维度具有高度选择性的脑区，这些脑区不仅分布在感觉运动皮层周边，也广泛存在于默认网络和语言网络这些被认为是处理一般或抽象语义的高级联合皮层内。 * 另一方面，作为语义网络枢纽、负责整合多种语义信息的脑区，主要位于默认网络内，并高度集中在左侧前部颞上回和左侧角回这两个连接枢纽区域。

这项研究的科学价值在于： 1. 推进理论模型：它挑战了“通用语义网络主要由多模态感官-运动汇聚区构成”的经典观点，揭示了社会性等非感官-运动维度在该网络中存在特异性表征。同时也对Xu等人的双重编码模型进行了补充和细化，指出其语言支持系统内部也可能存在一定的功能特异性。 2. 识别关键枢纽：强有力地指出左侧前颞上回和角回是整合感官-运动与非感官-运动语义信息的高级枢纽，为未来研究语义整合的神经机制提供了明确靶点。 3. 方法学创新：验证了结合自然叙事fMRI与大规模语义数据库来研究“自然状态下”语义处理的有效性，为未来在更生态化语境中探索语言与认知提供了范例。 4. 揭示语境效应：发现了一些在传统词语任务中不显著的脑区激活（如额下沟、听觉皮层），提示自然叙事理解可能涉及更广泛的认知过程（如情境模拟、预期加工），丰富了我们对语义处理与其它认知功能交互的理解。

研究亮点 1. 多维度的系统性考察：首次同时考察了六个涵盖感官-运动和非感官-运动的核心语义维度，提供了前所未有的全面视角。 2. 自然主义范式与大数据结合：利用自然叙事聆听任务和大规模语义评分数据库，在生态效度高的条件下揭示了语义处理的神经基础。 3. 精细的功能分离与整合分析：并重分析了脑区对特定维度的选择性和对多个维度的重叠性，绘制出了一幅既包含功能专门化又包含整合枢纽的复杂语义网络图谱。 4. 关键的理论挑战与细化：研究结果对现有主流语义神经模型（如Binder等人的通用网络模型、Fernandino等人的分层汇聚模型、Xu等人的双重编码模型）均提出了重要的补充、挑战和细化，推动了该领域的理论发展。 5. 识别出新的候选枢纽：特别强调了左侧前颞上回作为潜在语义枢纽的重要性，这个区域在以往的语义枢纽讨论中相对被忽视，本研究提示它可能在关联社会性与感觉知识方面具有特殊作用。

这项研究为我们理解人类大脑如何组织庞杂的语义知识提供了重要的新证据和新框架，标志着在描绘全脑语义地图和理解其组织原则方面迈出了关键一步。