这篇由麻省理工学院(MIT)的Greta Tuckute、Nancy Kanwisher和Evelina Fedorenko(通讯作者)撰写,于2024年4月26日在线发布于《Annual Review of Neuroscience》的论文,是一篇关于大脑、心智与机器中语言处理的系统性综述文章。它系统性地梳理了当前认知神经科学、人工智能和计算语言学的交叉前沿,核心议题是探讨以Transformer架构为基础的人工语言模型(ALMs, 常被称为大型语言模型或LLMs)如何以及为何能为理解人脑语言系统的运作机制提供前所未有的洞见。
本综述的核心论点在于,现代语言模型不仅是工程上的突破,也成为研究人脑语言处理机制的新型“硅基模型生物”。文章通过整合大量来自功能磁共振成像(fMRI)、颅内脑电图等技术的神经影像学研究证据,论证了这些模型在表征语言信息时与人脑存在深刻的相似性,并能用于生成和验证关于人脑语言处理的计算假设。以下将详细阐述本文的几个核心要点及其支撑证据与理论。
要点一:人脑存在一个专门、选择性强且功能同质化的语言系统。 文章首先确立了研究的核心对象——人脑的语言系统。作者团队基于其长期研究指出,十九世纪神经学家对语言障碍患者的观察和早期神经成像研究因方法局限,曾引发关于大脑是否存在专门语言区域的争议。然而,通过使用“功能定位器”任务(例如,对比参与者处理完整句子与处理无意义非词串时的大脑活动)在个体层面精确识别语言相关脑区,研究获得了决定性证据。 * 支持证据1:功能特异性。研究显示,在个体功能层面上识别出的语言脑区(主要分布在左半球外侧额叶和颞叶)对语言任务(如理解句子)反应强烈,但对许多非语言任务(如心算、听音乐、工作记忆、逻辑推理、理解他人意图、处理非语言交流信号、甚至理解计算机代码)反应微弱或没有反应。这表明语言系统是心智和大脑中一个独立的组成部分。 * 支持证据2:患者研究佐证。患有全面性失语症的患者,尽管语言能力严重受损,却仍能进行逻辑、算术推理和思考他人想法,这进一步证明语言与许多非语言认知功能是分离的。 * 支持证据3:内部功能同质性。文章反驳了传统上认为的脑区内功能分工(如布罗卡区专司语法)。证据表明,语言网络内的各个区域(如前颞叶、后颞叶、额下回)都对词汇意义和句法组合加工敏感,且彼此间功能连接紧密,更像一个协同工作的整体网络,而非具有严格功能划分的模块。这一系统因其选择性和内部一致性,被视为一个值得独立研究的“自然类别”。
要点二:现代语言模型在多个层面上与人类语言系统存在先验相似性,使其成为研究人脑的候选模型。 尽管语言模型与人类在学习过程、数据输入形式和硬件实现上存在根本差异,但作者论证了二者之间关键的相似之处,使得比较研究具有合理性。 * 支持论点1:行为输出的相似性。语言模型是除人脑外首个能够生成流畅、连贯文本的系统,其形式语言能力(对语言规则和规律的知识)在某些方面已接近人类水平。相似的行为输出是模型作为生物系统候选模型的必要前提。 * 支持论点2:预测性处理的核心地位。语言模型的核心训练目标是预测下一个(或掩码的)词语,这与大量心理语言学和神经科学证据表明人类在语言理解过程中会进行预测的现象高度一致。预测可能是驱动高效语言学习与处理的关键计算原理。 * 支持论点3:对多层次语言结构的敏感性。与人脑类似,语言模型在其内部表征中同样习得了对从语音、词形、词义到句法、语义等多层次语言规律的敏感性,且这些不同层面的信息在表征中是交织在一起的,而非完全分离。这呼应了人脑语言区在加工句法和语义时缺乏严格空间分离的发现。 * 支持论点4:语言能力与非语言(如推理)能力的可分离性。早期仅基于文本预测训练的纯语言模型虽然在语言任务上表现出色,但在简单的算术或逻辑推理任务上却表现不佳。这与人脑语言系统选择性参与语言任务,而许多推理任务可由其他脑区支持的现象存在有趣的平行。
要点三:语言模型的内部表征能够有效预测和解释人脑对语言的神经反应。 这是综述的核心实证部分。作者指出,研究方法已从早期使用静态词向量,发展到利用现代语言模型(尤其是Transformer模型)生成上下文相关的词或句子表征,来建模大脑活动。 * 支持证据与发现1:模型优于静态表征。多项研究证实,Transformer语言模型(无论是仅用左侧上下文的因果模型,还是可用双侧上下文的掩码模型)的内部表征,相比早期的循环神经网络(RNN)模型或静态的词嵌入模型,能更准确地预测 fMRI 和颅内记录中观测到的大脑活动模式。这表明大脑对语言的表征是高度情境化的,依赖于当前的句子和语篇背景。 * 支持证据与发现2:编码与解码的成功。研究不仅能用模型表征编码(预测)大脑对新颖语言刺激的反应,还能利用大脑活动模式解码(推断)参与者正在处理的大致语言内容,这强有力地表明了两者表征空间的对齐。 * 支持证据与发现3:适用于理解和产生。相关方法不仅适用于语言理解过程,最新研究也成功利用颅内记录和语言模型,预测了语言产生(自发对话)在发音开始前的大脑活动,表明语言系统依赖的是支持理解和产生的抽象语言结构与意义表征。
要点四:可以通过系统探究语言模型的属性,来理解其为何能捕捉人脑反应,并利用其作为“硅基模型生物”进行假设检验。 文章超越了简单的相关性报告,提出了利用语言模型进行更深入科学探究的框架。 * 子观点4.1:剖析模型关键属性。研究者通过比较不同架构、规模、训练数据和任务表现的模型,来识别哪些属性对于获得类人表征至关重要。主要发现包括: * 架构与规模:Transformer架构表现优异,且模型规模(参数量)在一定范围内(如达到300亿参数)与脑预测能力呈正相关,之后可能因数据限制而趋于平缓。 * 训练目标与数据:基于“预测下一个词”目标训练的模型是关键。有趣的是,使用与儿童语言暴露量相当的“发育合理”数据量进行训练的模型,已经能很好地预测大脑反应,表明巨量数据并非绝对必要,但一定的训练是必需的。 * 表征内容:通过扰动输入句子的实验发现,词汇的语义内容是模型预测大脑反应的主要贡献者,而句法结构的贡献相对较小(至少在fMRI的时空分辨率下如此)。这引发了对句法在人脑和模型中具体表征方式的进一步思考。 * 子观点4.2:作为“硅基模型生物”进行实验。研究者可以将训练好的编码模型(即大脑活动预测器)视为一个虚拟的语言网络,进行“硅上实验”。 * 验证与发现:例如,用模型模拟并成功复现了先前实证研究发现的不同脑区具有不同时间整合窗口的现象。 * 生成与检验假设:更强大的是,可以用编码模型来预测哪些新句子会最大程度地激活语言网络(即“驱动句”),然后在真人实验中测试这些预测。研究发现,最能驱动语言网络的句子是那些语法或语义不同寻常、令人惊讶的句子。这种方法可以突破研究者固有假设的限制,探索更广阔的实验空间。
要点五:使用语言模型研究人脑面临的方法学挑战及与AI工程目标的日益分化的挑战。 文章也坦诚地讨论了当前研究范式的局限性。 * 挑战1:方法学挑战。包括:Transformer模型的强大表达能力可能导致过拟合或捕捉到无关的虚假模式;在比较模型与大脑数据时,训练/测试数据的划分方式(如是否泄露未来上下文信息)可能夸大相似性;缺乏评估模型-大脑相似性理论上限(噪声天花板)的共识方法;以及许多研究未能测试模型在独立被试群体上的泛化能力。 * 挑战2:领域目标的分化。当前人工智能领域的目标正从构建高性能语言模型转向开发通用人工智能(AGI),这导致模型变得更大、训练数据更多元(如图像、代码)、训练目标更复杂(如基于人类反馈的强化学习)。然而,神经科学的目标是寻找兼具高预测精度和简洁性的模型。更大的AGI模型可能更不简洁,在某些语言任务(如预测人类阅读时间)上表现反而更差,且其不透明性(常为闭源)和巨大的计算资源需求,阻碍了神经科学家进行可控、透明、可重复的模型比较研究。
要点六:未来展望:构建更精确、更具解释性的人脑语言处理模型。 文章最后展望了该领域的未来方向: 1. 构建发育合理的模型:开发能从语音信号直接学习、并使用更接近人类儿童所接触的数据量和类型进行训练的模型。 2. 构建多组件交互模型:将语言模型与更低级的感知(如听觉)模块和更高级的推理、知识系统相连接,以模拟语言系统在完整认知流程中的作用。 3. 迈向机制性解释:超越表征相似性,利用人工智能领域新兴的机制可解释性工具,深入剖析语言模型的内部算法和计算过程,形成关于人脑语言处理机制的具体假设,并进行检验,从而实现“假设生成-检验”的良性循环。
本综述的价值与意义 本文的价值在于,它首次在《Annual Review of Neuroscience》这样的顶级神经科学年评中,系统性地整合并阐述了人工智能语言模型革命对理解人脑语言机制的深远影响。它不仅是一份研究进展的总结,更是一份未来研究的方法论路线图。文章清晰地论证了,语言模型不再仅仅是工程工具,它们已成为驱动21世纪语言神经科学发展的重要“计算显微镜”和“假设引擎”。通过桥接计算语言学、认知心理学和神经科学,该综述为最终以计算精度破解人类语言这一“物种标志性才能”的神经与认知基础,奠定了坚实的概念基础并指明了充满希望的前进道路。同时,文章也清醒地指出了跨学科合作中面临的实际挑战,呼吁保持科学目标与工程目标的对话与平衡。