该研究的主要作者包括ilker oguz、louis j.e. suter、jih-liang hsieh、mustafa yildirim、niyazi ulas dinc、christophe moser和demetri psaltis，他们均来自瑞士洛桑联邦理工学院（EPFL）的电气与微工程研究所。该研究于2025年4月2日在线发表在《nanophotonics》期刊上，题为“training hybrid neural networks with multimode optical nonlinearities using digital twins”。
该研究属于人工智能（AI）与光子学（photonics）交叉领域，特别是光学计算（optical computing）与神经网络（neural networks）的结合。随着AI模型的规模不断扩大，其能量消耗和计算硬件需求也呈指数级增长。为了解决这一问题，研究者提出将复杂的物理事件作为固定的计算模块引入神经网络，从而减少可训练层的复杂性。具体来说，研究利用多模光纤（multimode fibers, MMFs）中的超短脉冲传播进行大规模非线性变换，以此作为神经网络的物理层。通过数字孪生（digital twin）技术，研究者实现了对光学系统的可微分近似，从而能够通过反向传播算法优化光学层之前的神经网络层。
该研究主要分为以下几个步骤：
光学系统的设计与构建
研究构建了一个基于多模光纤的光学系统，用于实现大规模非线性变换。输入信息通过空间光调制器（spatial light modulator, SLM）以二维相位分布的形式进入系统，调制后的光束在光纤中传播，由于χ(3)非线性效应（如交叉相位调制和四波混频），初始场分布被重新映射为完全不同的模式，最终通过相机测量输出。光纤的执行器可以可控地改变光纤的物理形态，引入可重复的扰动。
数字孪生模型的开发
研究者开发了一个名为“光学层孪生”（optical layer twin, OLT）的数字孪生模型，用于近似多模光纤中的非线性传播。OLT是一个基于U-Net架构的神经网络，能够预测给定输入相位分布下的输出强度分布。OLT在训练过程中不断更新，以确保其对光学系统的高保真度近似。
混合神经网络的训练
研究者将光学系统与数字神经网络结合，构建了一个三层混合神经网络。输入数据首先通过一个卷积层进行预处理，然后通过光学系统进行非线性变换，最后通过一个全连接层进行分类。训练过程中，OLT在正向计算路径中近似光学系统的响应，并在反向传播中提供梯度信息，从而优化光学层之前的神经网络层。
实验与结果分析
研究者在Fashion-MNIST数据集上测试了该方法的有效性。实验结果表明，使用在线学习（online learning）方法，分类准确率从75%提升到80%。此外，OLT对光学系统的预测精度达到了96.8的信噪比（SNR），且其延迟仅为30毫秒，远低于传统波传播模拟的500秒。
分类准确率的提升
通过引入预处理层和在线学习方法，分类准确率从75%提升到80%，证明了该方法的有效性。
数字孪生的高保真度
OLT对光学系统的预测精度达到了96.8的SNR，且其延迟仅为30毫秒，表明其在实时应用中的潜力。
对实验漂移的抵抗能力
通过引入机械执行器模拟系统漂移，研究发现在线学习方法在快速漂移情况下仍能保持较高的分类准确率，证明了该方法的鲁棒性。
该研究提出了一种将复杂非线性光学系统作为固定层引入神经网络的方法，并通过数字孪生技术实现了高效训练。该方法不仅显著减少了计算需求，还提高了AI模型的可扩展性和能效。此外，该方法对实验漂移表现出极强的抵抗能力，为未来的物理辅助AI模型提供了新的方向。
创新的混合神经网络架构
通过将光学系统与数字神经网络结合，研究提出了一种新型的混合神经网络架构，显著减少了计算需求。
数字孪生技术的应用
研究开发了高保真度的数字孪生模型，用于近似光学系统的响应，并实现了高效的反向传播。
对实验漂移的抵抗能力
该方法在快速漂移情况下仍能保持较高的分类准确率，证明了其在复杂环境中的鲁棒性。
该研究还探讨了OLT架构的优化，发现使用4个编码和解码块的U-Net架构在预测精度和计算成本之间取得了最佳平衡。此外，研究还通过引入机械执行器模拟系统漂移，进一步验证了该方法的鲁棒性。
该研究为未来的物理辅助AI模型提供了新的思路，具有重要的科学价值和应用前景。