这项研究由来自美国加州大学圣塔芭芭拉分校（University of California, Santa Barbara）计算机科学系、西班牙米格尔·埃尔南德斯大学（Universidad Miguel Hernández）生物工程研究所等机构的Galen Pogoncheff、Jacob Granley等学者共同完成，发表于ICLR 2024 Workshop on Representational Alignment (Re-Align)。研究聚焦于盲人视觉皮层（V1区）的神经表征与深度学习模型（DNNs）之间的对齐关系，探索了在缺乏自然视觉输入条件下，电刺激和心智想象（mental imagery）如何激活保留的视觉处理能力。
学术背景
视觉皮层在失明后仍保留神经活动（Burton, 2003; Fine et al., 2003），但其视觉表征能力是否存续尚不明确。这一问题对视觉假体（visual prostheses）等神经接口技术至关重要。此前研究证实，DNNs的隐表征（latent representations）与灵长类视觉皮层活动存在对齐（Yamins et al., 2014; Schrimpf et al., 2020），但盲人V1区是否具有类似特性仍是未知。本研究首次通过颅内皮层记录，分析盲人V1在电刺激和心智想象任务中的神经活动与DNN表征的关联，旨在揭示盲人视觉皮层的功能保留机制，并为假体设计提供理论依据。
研究流程与方法
1. 实验对象与任务设计
- 受试者：一名61岁男性盲人参与者，因垂体腺瘤手术后视神经病变导致完全失明5年，植入96通道颅内视觉假体（Cortivis系统），电极位于右侧旁中央V1区。
- 工作记忆任务：包含三个阶段（图1）：
- 刺激期：通过单电极施加167ms双相脉冲电刺激，诱发特定光幻视（phosphene）；
- 延迟期（3-5秒）：受试者保持对光幻视的记忆；
- 回忆期：音频提示后，受试者通过心智想象重现光幻视的形态、亮度和位置，并口头描述及绘制。共完成90次试验，覆盖9种独特光幻视。
2. 数据采集与处理
- 神经信号：记录多单元活动（MUA）、全/包络锋电位活动（ESA）及局部场电位（LFP）的θ、α、β、γ频段。电刺激伪迹通过硬件消隐（blanking）和三次多项式插值消除。
- 光幻视绘图数字化：将手绘光幻视转换为244×244像素图像（黑色背景），模拟2度视角（dva）大小，并置于左视野（对应右脑植入位置）。
3. 表征对齐分析
- DNN模型：选取69个经Brain-Score基准测试的DNN（如ResNet-50），以ImageNet分类任务预训练。
- 对齐方法：
- 表征相似性分析（RSA）：比较神经活动与DNN激活的相异矩阵（dissimilarity matrices）的相关系数；
- 线性回归：通过PCA降维后，使用岭回归（ridge regression）从DNN激活预测神经活动，以皮尔逊相关系数评分。
4. 神经元可解释性探索
- 最大激发图像（MEIs）：基于ResNet-50第一层激活，通过梯度下降优化生成能最大化激活特定V1神经元的图像，结合随机抖动和旋转正则化避免高频伪影。
主要结果
任务阶段神经活动差异：
- 刺激和回忆期起始时神经活动显著增强（p < 0.001），且与自发活动差异显著。
- 通过随机森林分类器，仅凭回忆期活动即可区分刺激电极（准确率97%），表明工作记忆保留了电刺激的神经表征。
DNN与盲人V1的对齐：
- 电诱发活动中，DNN预测性与灵长类V1对齐度（r = 0.518, p < 0.001）及ImageNet准确率正相关（图2）。
- ResNet-50在刺激初期（0-200ms）与MUA、ESA显著相关，而LFPβ在回忆期仍保持对齐，提示心智想象依赖低频振荡（图3）。
神经元特性初步解析：
- MEIs显示，高响应神经元对应的图像特征与受试者描述的光幻视形态相似（如圆形、放射状线条），但需更大样本验证（图3b）。
结论与意义
本研究首次证实盲人V1的神经活动与DNN视觉表征存在显著对齐，且这种关联与模型在灵长类视觉皮层的预测性能正相关。科学价值在于：
1. 理论层面：支持盲人视觉皮层保留部分自然视觉处理机制的假说，为皮层可塑性提供新证据；
2. 应用层面：为视觉假体的刺激策略优化提供依据，例如基于DNN生成更符合自然感知的光幻视模式。
研究亮点
- 创新方法：结合电刺激、心智想象和DNN表征对齐，克服盲人缺乏视觉输入的实验限制；
- 跨物种关联：首次将DNN-灵长类对齐研究扩展至人类盲视皮层；
- 可解释性探索：MEIs为盲人V1神经元功能解析开辟新途径。
局限与展望
样本量单一（仅1名受试者）和光幻视多样性不足可能影响结论普适性。未来需扩大样本，并探索无绘图依赖的神经预测模型（如拓扑网络）。