本研究由德国汉堡大学埃彭多夫大学医学中心生物医学成像部和汉堡工业大学生物医学成像研究所的Tobias Knopp和Mirco Grosser共同完成，于2022年发表在Proceedings of Machine Learning Research 172 (MIDL 2022)上，论文题目为《Warmstart Approach for Accelerating Deep Image Prior Reconstruction in Dynamic Tomography》。
学术背景 本研究隶属于医学影像处理和计算成像领域，具体聚焦于动态断层扫描（如磁粒子成像MPI）的图像重建问题。传统基于深度学习的重建方法需要大量训练数据，而获取高质量的训练数据成本高昂，限制了其灵活应用。深度图像先验（Deep Image Prior， DIP）是一种无监督学习技术，它利用神经网络的结构本身作为隐式正则化器，无需任何训练数据即可直接从测量数据重建高质量图像，因此在成像领域展现出巨大潜力。然而，DIP的一个主要缺点是它将网络训练（优化）过程转移到了图像重建阶段，这通常需要大量的迭代计算，导致重建时间长，难以满足动态成像（如介入手术、心脏成像）对实时性或近实时可视化的迫切需求。因此，本研究旨在解决DIP在动态断层扫描应用中的“运行时挑战”（runtime challenge）。具体目标是在动态成像序列中，通过重用前一帧重建的网络参数（即“热启动”，warmstart），而非随机初始化（“冷启动”，coldstart），来加速DIP的重建过程，并设计自适应策略来处理帧间的剧烈变化。
详细工作流程 本研究主要包含两个实验：一个可控的仿真实验和一个活体（in-vivo）小鼠实验，旨在验证和评估所提出的热启动DIP方法的有效性与性能。
1. 研究方法与算法设计： 研究的核心是提出了两种DIP重建算法：基本的冷启动算法（算法1）和新的热启动算法（算法2）。在动态成像中，需要对一系列时间帧（l = 1, …, L）的数据进行重建。冷启动算法对每一帧都独立随机初始化网络参数θ，然后进行优化直至满足停止准则。而热启动算法则重用前一帧优化后的网络参数θ_{l-1}作为当前帧的初始值。为了应对帧间物体可能发生的剧烈变化（如形状突变），研究者进一步提出了自适应热启动方法。该方法引入了一个“重启准则”（restart criterion），根据帧间变化的程度决定是进行热启动（重用参数）还是冷启动（随机初始化）。论文探讨了两种重启准则：一种是基于原始测量数据的简单准则，即当相邻两帧测量数据向量的归一化差异超过阈值τ时重启；另一种是基于一个快速、低质量的重建算法（在MPI中采用Kaczmarz算法）结果，计算相邻帧重建图像之间的峰值信噪比（PSNR），若PSNR低于阈值τ，则重启。本研究主要测试了两种策略：始终热启动的“朴素热启动”和基于图像PSNR阈值（τ=15）的自适应热启动。
2. 实验设计与对象： 仿真实验：研究对象是一个模拟的动态3D锥体模型。该模型在视野中移动（平移），并在特定帧（第4帧）突然变形为一个球体，随后又变回锥体（第5帧）。这种设计旨在测试热启动方法对平滑运动（平移）和剧烈变化（变形）的适应能力。仿真使用从真实MPI扫描仪测量的系统矩阵进行前向投影，并添加了标准差为最大信号0.2%的白噪声以模拟真实测量环境。该模拟基于OpenMPIData数据库中的标准锥体模型，确保了实验的可复现性和与现有研究（如Dittmer等人2021年的DIP验证工作）的可比性。该实验共包含5个时间帧。 活体实验：研究使用了一个真实的活体小鼠MPI数据集，该数据集记录了对比剂团注后流入小鼠心脏的动态过程。这个数据集包含了真实生物组织的结构和生理动力学，是评估所提方法在实际应用中性能的理想选择。研究从整个成像序列中提取了连续的5帧进行分析。
3. 重建与实现细节： - 网络架构：采用了一个无跳跃连接的自动编码器，约有300万个参数。具体包含三个下采样步骤（因子为2），通道数分别为64、128和256。该架构与先前成功的MPI DIP研究保持一致。 - 输入与优化：网络输入n是一个从[0， 0.7]均匀分布采样的随机向量，在整个重建序列中保持不变。优化器使用Adam，学习率为5×10⁻⁴。数据一致性项d选用ℓ1距离，这在MPI中被证明比ℓ2距离更具优势。 - 停止准则与实现：为了便于公平比较，所有重建都固定为400次迭代作为停止准则（实际应用可能采用基于图像质量的准则）。研究使用Julia语言实现，利用Flux.jl进行深度学习，并在NVIDIA Quadro M4000 GPU上运行。MPI相关的数据处理使用了mpifiles.jl和mpireco.jl软件包。
4. 数据分析流程： 结果分析主要基于视觉对比和定量指标。视觉上，比较不同迭代次数下冷启动与热启动重建结果的图像质量。定量上，主要使用峰值信噪比（PSNR）作为衡量重建图像与真实/参考图像接近程度的指标。研究记录了达到特定PSNR值（如23）所需的迭代次数，以此量化加速效果。此外，还绘制了数据残差和PSNR随迭代次数的变化曲线，以详细分析收敛行为。对于自适应方法，通过检查其在各帧选择的启动策略（冷或热）来验证其决策逻辑。
主要结果 1. 仿真实验结果： - 收敛加速：如图2和表1所示，对于只发生平移的帧（第2、3帧），冷启动DIP需要约90次迭代才能达到PSNR > 23。而热启动DIP仅需10-11次迭代即可达到相同质量，加速效果显著。在视觉上（图2），热启动方法的第一轮迭代结果就与前帧的最终结果相似，随后迅速变形到新位置。 - 处理剧烈变化：当物体发生剧烈变形时（第4帧，锥体变球体），两种方法都需要更多迭代。冷启动需要200次迭代，热启动需要162次。尽管变化剧烈，热启动的收敛速度仍略优于冷启动。在第5帧（球体变回锥体），热启动（64次）也优于冷启动（88次）。这表明，即使面对非理想情况，热启动也未导致性能下降。 - 自适应热启动的有效性：如图2中红框所示，自适应方法成功地为前三帧（平滑变化）选择了热启动，而为后两帧（剧烈变化）选择了冷启动。这证明了所提出的基于图像PSNR的重启准则能够有效识别帧间变化程度，并做出合理决策，从而在保证质量的同时最大化计算效率。
2. 活体实验结果： 如图3所示，在真实的活体小鼠心脏对比剂灌注动态序列中，冷启动DIP需要200-400次迭代才能获得满意结果。相比之下，热启动DIP仅需50-100次迭代，即可达到相当的质量水平，实现了约4倍的加速。这强有力地证明了所提方法在复杂、真实的动态成像场景中的实用价值。
3. 深入分析（附录B）： - 收敛曲线：图4显示了第3-5帧的残差和PSNR随迭代变化的曲线。冷启动在初始约65次迭代中输出接近零，之后快速收敛。热启动则从一开始PSNR就迅速上升。 - 位移影响：图5研究了物体平移距离对热启动收敛的影响。当帧间位移为2mm时，约20次迭代即可完美恢复；位移增大到4mm和6mm时，需要30-40次和约50次迭代才能达到类似质量，且初始迭代中会出现形状畸变。这说明加速效果与帧间相似度密切相关，变化越小，加速比越高。
结论 本研究的结论是，所提出的热启动方法是一种简单而有效的工具，能够显著加速动态断层扫描中深度图像先验（DIP）的重建过程。通过重用相邻帧的网络参数，可以大幅减少达到满意图像质量所需的优化迭代次数，在物体变化平缓时加速效果尤为惊人。此外，引入的自适应重启机制能够鲁棒地处理帧间的剧烈变化，防止因参数初始值不当而陷入局部最优或产生偏差。这项研究使DIP向满足磁粒子成像等高速动态成像应用所需的实时可视化要求迈出了重要一步。
研究亮点 1. 创新性方法：首次系统性地将优化领域的“热启动”思想引入到无监督的深度图像先验（DIP）动态重建中，提出了一种新颖的加速策略。 2. 解决核心痛点：直接针对DIP在动态成像中面临的“运行时挑战”提出解决方案，具有明确的实用导向。 3. 自适应机制：不仅提出了朴素的热启动，还设计了基于数据或图像相似度的自适应重启准则，增强了方法的鲁棒性和普适性。 4. 详实的验证：通过从严格控制的仿真实验（包含平移和突变）到真实复杂的活体实验的两阶段验证，全面评估了方法的性能、加速效果和局限性。 5. 高实用性：方法实现简单，无需改变网络架构或引入额外训练数据，易于集成到现有的DIP重建框架中，适用于各种动态断层扫描模态。
其他有价值内容 论文还简要讨论了与其他方法的对比，例如Barbano等人（2021）提出的使用已有训练模型加速DIP的方法需要训练数据，而本方法完全无需训练数据。Yoo等人（2021）提出的时间依赖DIP虽然能进行高质量联合重建，但无法实现逐帧实时处理。相比之下，本研究的序列化热启动方法在保持灵活性和实时性潜力方面具有优势。同时，作者也指出了本方法的局限性，例如重启阈值τ需要根据具体实验进行调整，其自动选择值得进一步研究。