关于深度学习荧光显微成像计算解混方法micro𝕊𝕊plit的学术研究报告
一、 研究团队与发表信息 本研究由Ashesh Ashesh、Federico Carrara、Igor Zubarev、Vera Galinova、Melisande Croft、Melissa Pezzotti、Daozheng Gong、Francesca Casagrande、Elisa Colombo、Stefania Giussani、Elena Restelli、Eugenia Cammarota、Juan Manuel Battagliotti、Nikolai Klena、Moises Di Sante、Raghabendra Adhikari、Daniel Feliciano、Gaia Pigino、Elena Taverna、Oliver Harschnitz、Nicola Maghelli、Norbert Scherer、Damian Edward Dalle Nogare、Joran Deschamps、Francesco Pasqualini及Florian Jug共同完成。研究团队主要来自意大利Human Technopole基金会、罗马生物医学大学校园、帕维亚大学、芝加哥大学以及美国霍华德·休斯医学研究所珍妮莉亚研究园区。该研究成果以题为“micro𝕊𝕊plit: semantic unmixing of fluorescent microscopy data”的论文形式，于2026年5月发表于国际知名学术期刊《Nature Methods》第23卷。
二、 学术背景与研究目的 本研究属于生物医学成像与计算生物学交叉领域，具体聚焦于荧光显微成像技术。荧光显微镜是探索细胞、组织和生物体内部结构与动态的核心工具。传统的多重成像技术需要对不同细胞结构使用不同的荧光标记物，并依次采集多个独立的图像通道。然而，这种方法存在固有的局限性：1) 荧光团激发光谱的重叠限制了可在同一生物样本中同时使用的荧光标记物数量，易导致信号串扰；2) 顺序采集需要多次曝光样本，消耗有限的光子预算，限制了成像速度，并可能增加光毒性；3) 为了在有限光子预算下成像更多结构或提高速度，往往需要降低每次曝光的信号采集量，从而导致图像噪声增加，给后续分析带来困难。
针对这些挑战，本研究旨在开发一种新型的计算多重成像方法。其核心目标是：允许研究人员将多个细胞结构标记并在单个荧光通道内同时成像，然后通过计算手段将叠加的信号“解混”成各自独立的、去噪的图像通道。这种方法被称为“语义解混”。通过减少成像所需的通道数，该方法有望显著节约光子预算，从而将这些节省的资源用于提高成像速度、提升信噪比、减少光毒性，或是在不增加曝光的情况下成像更多结构。
三、 研究流程与方法细节 本研究系统地开发、验证并评估了名为micro𝕊𝕊plit的深度学习框架。整个工作流程包含以下几个关键环节：
1. 算法设计与网络架构 micro𝕊𝕊plit的核心是一个基于变分拆分编码器-解码器网络的深度学习模型。该模型并非简单的自动编码器，其设计目标是接收包含多个叠加结构的单通道噪声图像作为输入，并输出对应的多个去噪后的独立结构通道。其网络架构类似于分层变分自编码器，但关键区别在于其输出并非重建输入，而是分解输入。模型通过监督学习的方式学习解混任务，同时通过无监督学习的方式学习去噪。这意味着，即使训练数据本身是带噪声的，模型仍能预测出去噪后的图像。此外，模型的变分特性使其能够学习一个解的后验分布，从而可以从同一输入生成多个看似合理的解样本。通过分析这些样本之间的变异性，可以量化预测的不确定性，实现对预测误差的空间定位估计。
2. 训练数据制备与训练模式 为了训练micro𝕊𝕊plit模型，研究团队提出了三种实用的训练数据获取模式，以适应不同的实验条件： * 训练模式I：使用传统多重成像获得的、已分离的各结构通道图像作为监督目标（“靶图像”）。通过将多个靶图像像素相加，人工合成模拟的单通道叠加输入图像。这种方法能生成高质量的训练数据，但合成输入与真实单次采集的图像在噪声特性和强度比例上可能存在细微差异。 * 训练模式II：假设存在每个结构的单独成像数据，但这些数据并非来自同一样本。通过随机求和来自不同样本的单结构图像来创建叠加输入。这种方法丢失了不同结构之间可能存在的空间相关性。 * 训练模式III：在显微镜上直接采集两种数据：a) 传统多重成像得到的各独立结构靶图像；b) 同时激发所有标记物并收集全部发射光得到的单通道叠加图像。后者直接作为模型的输入。这种模式能最真实地反映实际成像中的噪声和强度关系。
研究团队还使用了一种变体模式（训练模式IIb）来去除成像伪影。该方法从包含伪影和真实结构的叠加图像中，手动裁剪出仅包含伪影或仅包含目标结构的区域，然后将这些裁剪区域随机组合成训练对。
3. 数据集构建与模型训练 为了全面评估micro𝕊𝕊plit的性能，研究团队收集或生成了10个不同的荧光显微镜数据集，涵盖了多种生物样本（如细胞系、类器官、组织切片）、成像模态（共聚焦、转盘共聚焦、膨胀显微镜）、维度（2D和3D）以及噪声水平。基于这些数据集，他们定义了共计36个语义解混任务，包括二通道、三通道乃至四通道的解混。对于每个任务，都使用相应的训练数据对micro𝕊𝕊plit模型进行训练。模型架构针对体积图像数据进行了高度优化。
4. 性能评估与下游分析 研究从定性和定量两个角度评估了模型的解混效果。 * 定性评估：通过可视化展示，证明micro𝕊𝕊plit能够成功地将包含两个、三个甚至四个叠加结构的噪声输入图像，分离成清晰的、去噪后的独立通道预测结果。 * 定量评估：使用CARE-PSNR和μMS-SSIM（一种针对显微图像优化的结构相似性指标）等指标，在保留的测试集上对所有任务的解混预测质量进行量化。结果显示，在所有任务中平均PSNR为32.53，平均μMS-SSIM为0.886，表明解混质量普遍较高。 * 不确定性估计与校准：利用模型的变分特性，通过对后验分布进行多次采样，计算样本间的变异性，并将其作为预测不确定性的代理。研究通过校准图证明，这种易于计算的变异性与预测的真实误差（通过比较预测结果与靶图像计算）高度相关，从而为用户提供了评估预测可靠性的工具。 * 下游任务验证：为了证明解混后图像的实用性，研究进行了图像分割实验。三名生物图像分析员分别对传统多重成像获得的靶图像和micro𝕊𝕊plit解混得到的预测图像进行交互式分割。结果显示，基于解混图像的分割结果与基于原始靶图像的分割结果之间的一致性，与不同分析员之间的观察者间变异处于同一水平，证明解混图像可用于高质量的下游分析。 * 应用拓展：去除成像伪影：研究展示了micro𝕊𝕊plit的一个创新应用——去除图像中不需要的结构化伪影（如非特异性荧光斑点）。使用训练模式IIb，模型成功地从标记了神经元核的显微图像中分离并去除了伪影斑点，同时保留了目标核信号。
5. 局限性分析与影响因素探究 研究深入探讨了影响micro𝕊𝕊plit性能的关键因素： * 强度偏斜：待解混结构之间的亮度差异过大会增加解混难度，尤其是对较弱信号的提取。 * 信噪比：输入数据的信噪比越低，解混性能会有所下降，但即使在极低曝光时间（2毫秒）下，解混结果仍适用于下游分析。 * 结构相似性：待解混的结构在外观上越相似，任务越具挑战性。实验表明，即使对同一微管通道进行轻微缩放后叠加，模型仍能成功解混，但训练收敛更慢。 * 空间相关性：训练模式I和III中存在的结构间空间相关性有助于模型学习，而模式II则无法利用这种相关性。 * 结构尺寸与网络感受野：待解混结构的尺寸相对于网络输入块和感受野的大小也会影响性能。
四、 主要研究结果 1. 高效语义解混：micro𝕊𝕊plit能够在多种生物样本和成像条件下，成功地将单通道中叠加的2至4个细胞结构进行高质量的计算分离，并同时实现图像去噪。定量指标证实了其在广泛任务中的鲁棒性和高精度。 2. 不确定性感知预测：基于变分架构，micro𝕊𝕊plit能够生成多个后验样本，并通过样本间的变异性来估计空间分辨的预测不确定性。校准实验证明这种估计是可靠的，为解决AI生物图像分析中预测结果可信度评估的难题提供了有效方案。 3. 节约光子预算：该方法的核心价值在于允许将多个结构合并到更少的通道中成像，从而显著节约了有限的光子预算。节约的预算可以重新分配，用于实现更快的时间采样、更高的原始图像信噪比（即更温和的成像以减少光毒性）或成像更多的结构。 4. 支持下游分析：分割实验表明，基于micro𝕊𝕊plit解混图像进行的分割分析，其质量与基于传统多重成像图像的分析结果相当。这证明了其输出结果可直接用于实际的生物学定量研究。 5. 功能拓展性：除了标准解混，该方法还能用于去除特定的、结构化的成像伪影，拓展了其在图像预处理中的应用场景。 6. 性能边界界定：通过系统性实验，研究明确了影响解混性能的关键数据特性（如SNR、强度偏斜、结构相似性），并提供了实用的缓解策略，为用户的成功应用提供了指导。
五、 研究结论与价值 本研究成功开发并验证了micro𝕊𝕊plit，这是一种基于深度学习的荧光显微数据语义解混新方法。该方法通过将多个细胞结构在单个荧光通道内成像并进行计算分离，有效突破了传统多重成像在速度、分辨率和光毒性之间的“挫败三角”限制。其价值体现在： * 科学价值：提出并实现了一种全新的计算显微成像范式——语义解混，将计算能力深度融入图像采集环节，而不仅仅是后处理。其内置的不确定性量化机制增强了AI驱动生物图像分析的可解释性和可靠性。 * 应用价值：为生命科学家提供了一个强大且实用的工具。它能够使原本因光子预算或通道限制而不可行的实验成为可能，例如在标准四通道显微镜上同时对八个或更多结构进行成像。它还能优化现有成像协议，使其更快速、更温和（减少光损伤）、更经济高效。 * 技术贡献：不仅发布了算法，还提供了完整的开源软件库（CAREamics）、用户友好的示例代码以及全部训练和评估数据集，确保了研究的可重复性，并极大地降低了社区使用的门槛。
六、 研究亮点 1. 方法创新性：首次提出并实现了针对荧光显微图像的、基于深度学习的“语义解混”框架，能够处理多达四个叠加结构，是计算显微成像领域的一项重要突破。 2. 变分架构与不确定性量化：采用变分编码器-解码器网络，不仅实现了解混和去噪，还创新性地利用后验采样变异性来估计预测误差，提供了至关重要的置信度度量，这是该方法区别于其他点预测模型的显著优势。 3. 实用性设计：提出了多种灵活的训练数据准备模式（I, II, III, IIb），适应了不同实验室的实际数据可获得性，提高了方法的普适性和易用性。 4. 系统性验证：在多达10个不同特性数据集上定义了36个解混任务，进行了全面、严格的定性与定量评估，并深入探究了性能边界和影响因素，结论坚实可靠。 5. 超越解混的应用：展示了该方法在去除特定成像伪影方面的潜力，拓宽了其应用范围。
七、 其他有价值内容 研究团队将micro𝕊𝕊plit与现有的计算复用技术（如基于光谱分离的Picasso）进行了比较，指出micro𝕊𝕊plit仅需单张叠加图像作为输入，简化了成像过程，且在噪声条件下表现更优。论文还讨论了未来工作的方向，例如将micro𝕊𝕊plit与自适应成像策略结合，根据模型的不确定性估计动态调整成像参数。作者预测，语义解混的概念未来可能超越荧光显微镜，应用于其他生物医学成像模态中。