这篇文档属于类型a，是一篇关于使用深度学习框架预测仿生眼使用者功能视觉性能的原创研究论文。以下是详细的学术报告：

主要作者及机构
本研究由Jonathan Skaza（第一作者兼通讯作者，加州大学圣塔芭芭拉分校动态神经科学研究生项目）、Shravan Murlidaran、Apurv Varshney、Ziqi Wen、William Wang（加州大学圣塔芭芭拉分校计算机科学系）、Miguel P. Eckstein和Michael Beyeler（加州大学圣塔芭芭拉分校心理与脑科学系及计算机科学系）合作完成。论文以预印本形式发布于bioRxiv平台，发布于2025年6月25日，DOI为10.¹¹⁰¹⁄₂₀₂₅.06.23.660990。

学术背景
研究领域为神经工程与计算机视觉交叉学科，聚焦仿生视觉（bionic vision）的功能预测。目前，视觉假体（visual prostheses）的技术发展已超越临床预测能力，患者和医生缺乏可靠工具评估植入后的视觉功能。视网膜色素变性（retinitis pigmentosa, RP）等晚期视网膜退化患者依赖电刺激产生的光幻视（phosphenes）感知图像，但现有设备仅能提供低分辨率视觉，且个体差异显著。传统方法依赖术后测试（如FLORA评估），无法在术前预测效果。本研究提出“计算虚拟患者”（Computational Virtual Patient, CVP）框架，结合解剖学基础的光幻视模拟与任务优化的深度神经网络（DNNs），旨在建立可扩展的术前预测方法。

研究流程
1. 刺激生成
- 研究对象：6类生态相关视觉任务（情绪识别、形状分类、人物朝向判断、门/窗/人物左右定位），部分任务与FLORA评估标准对齐。
- 样本量：每任务生成1000个训练样本，包含参数化变体（如形状任务的10种强度×25种位置×5种大小）。数据来源于AffectNet数据集（情绪任务）、Unity仿真场景（空间任务）及自定义Python脚本（形状任务）。

1. 光幻视模拟

   • 使用开源工具Pulse2Percept将刺激转换为光幻视表示，模拟两种模型：
     
     • 计分板模型（scoreboard model）：假设电极独立产生点状光斑。
       
     • 轴突映射模型（axon map model）：整合视网膜神经节细胞轴突路径的解剖学约束，模拟电流扩散导致的感知扭曲。
       
   • 测试6种电极布局（6×10至12×20网格），覆盖临床常用配置（如Argus II的6×10阵列）。
     

2. 任务评估

   • 人类实验：招募18名正常视力受试者，在500ms强制注视条件下完成3项任务（情绪、形状、门定位），每条件12人，共收集240–288次 trial/任务。
     
   • DNN评估：测试28种预训练架构（如ConvNeXt、ViT），冻结主干网络，仅微调分类层。训练使用AdamW优化器（学习率0.001），10轮迭代，12次随机种子验证。
     

3. 数据分析

   • 量化指标：正确率（proportion correct）、Spearman等级相关性（ρ）、F1分数（正确分类一致性）、Jaccard指数（错误分类重叠）。
     
   • 统计方法：Mann-Whitney U检验比较模型差异，Bootstrap重采样估计置信区间。
     

主要结果
1. 任务级一致性
DNNs与人类在任务难度排序上高度一致（Spearman ρ=0.86–0.89）。例如，形状分类任务中，轴突映射模型因空间扭曲导致性能显著下降（12×20布局下人类δ=−0.094，DNNs δ=−0.063，p<0.001），与临床观察相符。

1. 架构差异

   • ConvNeXt（卷积架构）与人类误差模式最接近（Jaccard指数0.24 vs. 人类内部0.54），因其局部空间滤波的归纳偏置类似人类早期视觉处理。
     
   • ViT（基于Transformer）因依赖全局上下文，与人类策略差异显著（Jaccard指数0.14）。
     

2. 策略分析
   通过显著性映射（saliency maps）发现，DNNs与人类关注特征不同：

   • 地面真值（GT）训练模型依赖尖锐判别特征。
     
   • 人类多数投票（HM）训练模型聚焦更符合直觉的区域（如门定位任务中忽略边缘噪声）。
     

结论与价值
1. 科学意义
CVP框架首次将解剖学约束与DNN行为预测结合，揭示了光幻视感知的计算机制，为理解低分辨率视觉的神经编码提供新工具。

1. 应用价值
   
   • 临床决策：术前预测患者功能视力，优化电极布局选择。
     
   • 设备开发：加速假体设计迭代，降低临床试验成本。
     
   • 监管支持：提供量化疗效指标，辅助审批流程。
     

研究亮点
1. 方法创新：整合轴突映射模型与多任务DNN评估，突破传统计分板假设的局限性。
2. 跨学科验证：通过人类-DNN双代理实验，证实计算模型可捕捉行为级感知约束。
3. 临床相关性：FLORA任务对齐使预测结果可直接转化至真实患者评估。

其他价值
研究开源代码（GitHub: jskaza/deep-learning-bionic-eyes）及光幻视模拟工具Pulse2Percept，推动领域内可重复性研究。局限性包括未考虑动态视觉和多模态整合，未来需扩展至个体化解剖建模。