文档类型判断：类型a。该文档报道了一项原创性研究，探讨了循环神经网络（RNN）中单元激活函数对认知任务解决方案的归纳偏置影响。

关于单单元激活函数为认知任务的涌现回路解决方案提供归纳偏置的研究报告

第一作者及研究机构： 本研究由 Pavel Tolmachev 和 Tatiana A. Engel 共同完成，他们均来自美国普林斯顿大学普林斯顿神经科学研究所（Princeton Neuroscience Institute, Princeton University）。通讯作者为 Tatiana A. Engel。该研究成果于2025年10月20日在线发表在《自然·机器智能》（nature machine intelligence）期刊上。

研究背景与目的： 在计算神经科学领域，受训的循环神经网络（recurrent neural networks, RNNs）已成为模拟大脑神经动力学的首要框架，其核心优势在于能模拟众多具有异质性反应的单元如何通过相互作用产生群体层面的计算。长期以来，该领域存在一个普遍但未经系统验证的假设：RNN单元所采用的非线性激活函数（如ReLU、sigmoid、tanh）的具体选择属于次要的架构细节，只要网络能得到充分训练以执行任务，便不会对涌现出来的回路机制产生根本性影响。这一假设导致不同研究在选择激活函数时缺乏统一标准。然而，本研究团队提出假设，认为这些看似微小的架构差异可能赋予网络不同的归纳偏置（inductive biases），从而深刻影响其学习到的任务解决方案。本研究旨在系统性地检验并挑战前述假设，揭示不同激活函数如何引导RNNs发现性质上截然不同的认知任务执行机制。

研究流程与方法： 为达成研究目标，研究者设计了一套严谨的比较分析流程。 首先，他们构建并训练了多种架构的RNNs。具体而言，选用了三种常见的激活函数：修正线性单元（ReLU）、S型函数（sigmoid）以及双曲正切函数（tanh）。对每一种激活函数，研究者均在遵循戴尔定律（Dale‘s law）连接约束（将单元分为兴奋性和抑制性）和无此约束两种条件下，分别训练了100个RNNs，总计六种不同架构（ReLU+戴尔约束、ReLU无约束、sigmoid+戴尔约束、sigmoid无约束、tanh+戴尔约束、tanh无约束）。这些网络被训练以执行三项不同的认知任务：上下文依赖决策任务（context-dependent decision-making, CDDM）、执行/不执行任务（go/nogo）以及记忆数字任务（memory number task），且所有网络均被训练至可比拟的绩效水平。分析主要聚焦于每种架构中表现最优的50个网络。 接着，研究从多个维度对训练好的网络进行了系统的比较分析。这些分析维度包括：通过主成分分析（PCA）降维后可视化和量化群体神经活动轨迹（population trajectories）的几何形状；分析单单元选择性（single-unit selectivity）的构型，即各单元对任务变量的调谐特性在空间中的分布模式；以及利用不动点（fixed point）寻找算法刻画网络的动力学机制，计算不同恒定输入下网络状态收敛的稳定和不稳定不动点，并比较其构型的几何结构。 最后，为了深入探究表象差异背后的因果机制，研究者采用了模型蒸馏（model distillation）方法，特别是潜回路推断（latent circuit inference）技术。他们为每个RNN拟合一个低维的潜回路模型，该模型既能复现原RNN的神经活动，也能执行相同的任务。通过分析这个低维模型的连接权重，可以明确其回路机制。此外，研究者还通过向网络输入超出训练分布范围的刺激，来检验不同网络泛化行为（generalization behavior）的差异，以此验证回路机制的预测。

主要实验结果： 研究结果表明，不同RNN架构在神经表征和动力学上存在稳定且深刻的差异，而这些差异根植于性质迥异的回路机制。 首先，在神经表征层面，tanh网络表现出与ReLU和sigmoid网络截然不同的特征。在CDDM任务中，ReLU和sigmoid网络的群体轨迹形成对称的“蝴蝶形”，在感觉刺激出现后才逐渐分离；而tanh网络的轨迹在试验开始时仅由背景线索驱动就立即分叉。通过多维尺度分析（MDS）对不同网络的轨迹集和单单元选择性构型进行嵌入后发现，tanh网络在所有任务中都形成了独立且远离其他网络的聚类。例如，在单单元选择性空间中，ReLU和sigmoid单元形成向外辐射的“十字形”模式，而tanh单元则聚集成一个巨大的中心簇，仅伴少量离群单元。 其次，在动力学机制层面，不动点构型的分析进一步支持了这一发现。ReLU和sigmoid网络的不动点按背景线索清晰分离，且代表选择的稳定不动点形成拉长的簇，表明对无关刺激仍有一定程度的表征。而tanh网络的不动点则形成片状（sheet-like）构型，对无关信息的抑制较弱。这些几何结构的差异通过MDS嵌入得到了量化确认，tanh网络再次与其他网络显著分离。值得注意的是，在未经训练或连接被随机打乱的网络中，这些差异极小，表明上述差异是由训练过程所塑造的。 最为关键的是，潜回路推断揭示了导致这些表象差异的因果机制。在CDDM任务中，ReLU和sigmoid网络采用了一种基于“抑制”的策略：激活的背景节点会强力抑制代表无关刺激的感觉节点，从而只有相关刺激能驱动选择输出。而tanh网络则采用了一种基于“饱和”的策略：背景节点将无关刺激节点驱动至tanh激活函数的正饱和区，将相关刺激节点驱动至负饱和区。当相关刺激出现时，会将其节点拉回至激活函数的陡峭敏感区以影响输出，而无关刺激的输入只会将已饱和的节点推向更深的饱和区，其活动保持不变，从而无法影响输出。这些不同的回路机制直接预测了网络对超出训练范围刺激的泛化行为。实验证实，当无关刺激的强度增大到超出训练范围时，ReLU和sigmoid网络的决策边界会发生旋转，开始受到无关刺激的干扰；而tanh网络的决策则完全不受影响，表现出更强的鲁棒性。在go/nogo和记忆数字任务中，这种架构间的差异性同样得到了验证，表明这一现象具有跨任务的普适性。

研究结论与价值： 本研究有力地证明，RNN中单单元激活函数的选择并非无关紧要的架构细节，而是为涌现的任务解决方案提供了强大的归纳偏置。不同的激活函数（特别是tanh与ReLU/sigmoid之间）会促使网络发现性质上完全不同的回路机制，从而导致在超出分布范围的输入上表现出迥异的泛化行为。这一发现对计算神经科学领域具有深远的意义。其科学价值在于，它挑战了长期以来“架构等效”的默认假设，指出当使用任务优化RNN为大脑如何执行认知任务生成假说时，架构的选择会直接影响所推断出的生物学机制，甚至可能将研究者引向与生物回路机制不对齐的模型。例如，研究指出，tanh单元因能产生“负”活动，使其与生物学上更合理的ReLU和sigmoid单元（只能产生非负的“发放率”）在行为和机制上存在本质偏离，在面对强干扰刺激时，其鲁棒性反而与人类受斯特鲁普效应（Stroop effect）影响的行为模式不符。这提出一个关键问题：哪种RNN架构能更好地对齐生物网络的机制。其应用价值在于，它强调了在为生物学数据建模时，必须审慎考虑架构选择，而不能随意为之。未来，开发包含多种单元类型、具有与生物细胞类型对应的不同激活函数和连接约束的网络，可能是使人工模型更贴近生物真实、产生更具生物学价值假说的关键方向。

研究亮点： 本研究的亮点体现在多个方面。其一，发现具有重大的范式挑战性，系统性地证伪了领域内一个长期存在的普遍假设。其二，研究方法系统且多维，通过将群体轨迹、单单元选择性、不动点几何等表征与动力学分析，同潜回路推断及超出分布泛化测试相结合，建立了从表象到因果机制的严密逻辑链。其三，研究特别关注了网络的泛化行为，证明不同的内部回路机制会导致可检验的行为后果，而非仅仅是网络内部的形而上学差异。其四，研究的结论具有重要的警醒和指导意义，为未来神经动力学建模研究中如何选择架构提供了坚实的理论依据和数据支持，直接推动了“寻找更符合生物大脑的归纳偏置”这一新兴研究方向的发展。