Jacob Granley（来自加州大学圣塔芭芭拉分校计算机科学系）、Alexander Riedel（德国耶拿恩斯特-阿贝大学）和Michael Beyeler（加州大学圣塔芭芭拉分校计算机科学系及心理与脑科学系）共同完成了一项关于脑启发神经网络在皮层视觉假体建模中的应用研究。该研究目前以预印本形式在arXiv平台发布（2022年9月），正在期刊《SVRHM》审稿中。

学术背景与目标
皮层视觉假体（Cortical visual prostheses）是通过植入初级视觉皮层（V1）或次级视觉皮层（V2）的电极刺激神经元以恢复失明患者视觉功能的装置。然而，当前技术生成的视觉感知仅能呈现简单的白色或黄色光斑（phosphenes），且无法精准预测刺激产生的知觉形态。这一局限源于对假体与视觉皮层交互机制的认知不足。近年来，具有脑相似性（brain-like）的卷积神经网络（CNNs）在模拟生物视觉系统方面展现出潜力——例如Brain-Score基准证实，经过物体分类训练的CNN中间层激活模式与灵长类皮层反应高度相似。本研究旨在探索如何将脑相似CNN适配为皮层假体的解码模型，从而预测电刺激产生的视觉感知，并为改进假体设计和理解视觉神经编码提供新思路。

研究方法与流程

1. 脑相似模型选择与神经元映射
   研究选用当前Brain-Score排名最高的EffNetB1网络（基于EfficientNet B1架构的对抗鲁棒性模型），其7.8M参数的中间层与灵长类V1、V2、V4及IT皮层区域存在对应关系。关键挑战在于如何将电极刺激模式映射到人工神经元激活。作者提出创新解决方案：

   • 视觉野定位：通过激活最大化技术（activation maximization）为每个神经元生成最优刺激图像（多呈现为局部圆形，图1a），以图像质心定义神经元在视野坐标系中的位置（图1b）。
     
   • 皮层投影：使用楔-偶极拓扑映射（wedge-dipole visuotopic mapping）将视野坐标转换为解剖位置（图1c）。若存在患者fMRI数据，可替换为个性化映射算法（如Benson et al. 2014方法）。
     

2. 皮层激活模式建模
   基于电极物理特性模拟两种假体：

   • Orion系统：60个表面电极（直径1mm），水平间距4.2mm。
     
   • Cortivis系统：96个犹他穿透电极（间距0.4mm）。
     电刺激激活范围通过高斯函数建模，标准差（ρ）与电极间距一致，强度公式为：
     $$I(x; \rho) = \sum_{e \in E} a_e \exp\left(-\frac{||x-e||^2}{2\rho^2}\right)$$
     其中$x$为皮层位置，$a_e$为电极幅度。

3. 光斑模型构建
   采用神经生物学启发的线性解码策略（图2）：

   • 将每个神经元的激活强度作为其最优刺激图像的权重，通过局部邻域归一化后加权平均，生成预测光斑：
     $$p_i = \frac{\sum_j ij \cdot s{j,i}}{\sum_{j \in N(i)} i_j}$$
     区别于传统“复制-粘贴”电流映射法，该方法独立于网络架构，能自然生成高保真光斑特征。

主要结果
1. 光斑形态学匹配
- 单电极刺激预测光斑呈黄白色圆形，与临床报道一致（图3a-b）。高频细节（如闪烁色斑）重现了患者描述的“烟花状”感知特征。
- Orion光斑较大且饱和（因表面电极广泛激活），Cortivis光斑更小且色彩丰富（穿透电极精准激活）。

1. 光斑尺寸规律
   
   • 离心率效应：V2区光斑平均比V1大41%，支持皮层放大率理论。Orion数据中光斑尺寸与离心率显著线性相关（p<0.001），符合Bosking et al. 2017观察。
     
   • 电流扩散影响：光斑尺寸随ρ增大先上升后饱和（图3d），下限受神经元感受野（receptive field）大小约束，与神经编码理论一致。
     

结论与价值
本研究首次将脑相似DNN成功适配为皮层假体的计算模型，其核心贡献在于：
1. 科学价值
- 提出的解码策略无需人工预设光斑特征，通过神经活动加权自然地涌现出临床观察到的黄白色圆形光斑、闪烁细节等属性。
- 为理解视觉神经编码提供新视角：光斑形成可能源于皮层神经元对其最优刺激的投票整合。

1. 应用潜力
   
   • 可集成至端到端刺激优化框架（如Granley et al. 2022），开发更高效的假体编码算法。
     
   • 未来结合患者特异性fMRI数据，有望实现个性化假体参数设计。
     

研究亮点
1. 方法创新性
- 开发了通用的“视觉野-皮层”双阶段映射方法，克服人工与生物神经元非对应性难题。
- 线性解码策略突破传统电流映射法的架构限制，首次实现复杂光斑特性的自动生成。

1. 跨学科意义
   
   • 为脑机接口与计算神经科学的交叉研究建立范式：皮层假体可作为验证DNN脑相似性的独特实验平台。
     

局限与展望
当前模型仅基于单一DNN架构（EffNetB1），需进一步验证其他脑相似模型的普适性。未来工作将聚焦于更大规模临床数据验证，并探索多电极协同刺激的预测能力。这一研究方向既可能提升假体性能，又能深化对视觉神经解码机制的认识。