基于深度强化学习的液体透镜显微镜自动对焦技术研究

学术背景

显微镜成像在科学研究、生物医学研究和工程应用中扮演着至关重要的角色。然而，传统显微镜及其自动对焦技术在实现系统小型化和快速精准对焦方面面临着硬件限制和软件速度缓慢的问题。传统显微镜通常采用多个固定焦距透镜和机械结构来实现放大和对焦功能，导致设备体积庞大、对焦速度慢，难以在狭小空间内快速操作。液体透镜（liquid lens）因其无机械部件、通过电信号调节焦距的特点，具有体积小、响应速度快、制造成本低等优势，成为解决这些问题的潜在方案。

近年来，人工智能和新光学元件的发展为显微镜自动对焦技术带来了新的研究方向。传统的自动对焦方法依赖于图像清晰度评估，通常需要多次图像采集和评估，速度较慢。深度学习技术的引入使得直接从单张图像预测焦平面位置成为可能，但这些方法依赖于训练数据的质量和数量，难以应对未见过的新样本。深度强化学习（Deep Reinforcement Learning, DRL）通过与环境不断交互学习最优决策策略，能够利用序列信息，特别适合自动对焦任务。

论文来源

本论文由Jing Zhang、Yong-Feng Fu、Hao Shen、Quan Liu、Li-Ning Sun和Li-Guo Chen共同撰写，作者分别来自苏州大学机械与电气工程学院和计算机科学与技术学院。论文于2024年发表在《Microsystems & Nanoengineering》期刊上，题为《Precision autofocus in optical microscopy with liquid lenses controlled by deep reinforcement learning》。

研究流程与实验设计

1. 液体透镜显微镜系统的构建

研究团队设计并制造了一种基于电润湿效应（Electrowetting-on-Dielectric, EWOD）的液体透镜。该透镜由上层玻璃盖板、下层ITO盖板、腔体、Parylene C介电膜和疏水性Teflon AF膜组成。液体透镜的腔体采用倒截锥结构，倾斜角度为60度，这种设计有助于稳定光轴中心并减少图像失真。通过调节施加在液体透镜上的电压，可以实现焦距的快速变化。

2. 深度强化学习自动对焦模型的设计

研究团队提出了一种基于深度强化学习的自动对焦方法（DRLAF）。该方法将液体透镜视为“智能体”（agent），原始图像作为“状态”（state），电压调节作为“动作”（action）。通过深度强化学习，模型能够直接从捕获的图像中学习对焦策略，实现端到端的自动对焦。与仅依赖清晰度评估作为模型标签或输入的方法不同，本研究设计了一种针对性的奖励函数，显著提升了显微镜自动对焦任务的性能。

3. 数据集处理与训练方法

研究团队利用液体透镜自动对焦过程中采集的图像序列作为强化学习智能体的状态输入。实验采用固定物距的显微镜，通过调节电压以0.1V的增量改变焦距，捕捉样品的完整对焦过程（失焦-对焦-失焦）。经过图像处理后，形成适合输入DRLAF的“状态”数据集。研究还提出了一种随机采样训练方法，将多个状态数据集组合成列表进行训练，以增强模型对未知样本的适应能力。

4. 动作空间设计

在强化学习自动对焦模型中，研究团队设计了智能体可执行的动作，通过不同步长调节施加在液体透镜上的电压。动作空间的大小对自动对焦的速度和精度有显著影响。研究团队通过实验确定了最佳动作空间大小，并比较了不同动作集配置下的对焦性能。

主要研究结果

1. 液体透镜的性能

研究团队成功制造了一种高性能液体透镜，其响应时间在40V驱动电压下为98毫秒，焦距与驱动电压的关系在不同放大倍数下表现出显著变化。实验结果表明，液体透镜的快速响应和电调节优势能够显著提升显微镜的结构紧凑性和变焦速度。

2. 动作空间对自动对焦性能的影响

实验结果表明，随着动作空间大小的增加，自动对焦的偏差显著减小，成功率和精度显著提高。当动作空间大小为7时，模型能够在速度和精度之间取得平衡，自动对焦的平均时间步数显著减少并趋于稳定。

3. 状态随机采样对自动对焦性能的影响

通过随机采样多个状态数据集进行训练，模型的自动对焦成功率和泛化能力显著提升。当状态数据集数量增加到50时，模型在测试集上的成功率达到97.2%，预测电压的均方根误差为2.85×10^-3V，表明模型能够有效适应不同样本。

4. 奖励函数的设计与优化

研究团队设计了一种混合奖励函数，结合了清晰度奖励、时间步奖励、停止奖励和额外奖励。实验结果表明，该奖励函数能够显著提升模型在自动对焦任务中的性能，特别是在减少对焦时间步数方面表现出色。

结论与意义

本研究提出了一种基于深度强化学习的液体透镜显微镜系统，实现了快速、精准的自动对焦。通过设计高性能液体透镜和深度强化学习模型，研究团队成功将自动对焦的平均时间步数减少到3.15步，相比传统搜索算法速度提升了79%。此外，通过随机采样多个状态数据集进行训练，模型的泛化能力显著增强，能够可靠地对不同样本和视场进行自动对焦。

该研究在光电侦察、显微成像、数字镜头成像和内窥镜等领域具有广泛的应用前景，为相关领域的自动化和智能化处理提供了强有力的支持。

研究亮点

1. 创新性：首次将深度强化学习与液体透镜结合，实现了端到端的自动对焦。
2. 高效性：自动对焦速度显著提升，平均仅需3.15步即可完成对焦。
3. 泛化能力：通过随机采样多个状态数据集进行训练，模型能够有效适应不同样本。
4. 低成本：液体透镜的使用减少了系统的复杂性和成本，具有较高的应用价值。

其他有价值的信息

研究团队还进行了泛化实验和奖励函数的消融实验，进一步验证了模型在未知样本上的表现和奖励函数设计的有效性。实验结果表明，随机采样训练策略能够显著提升模型的泛化能力，混合奖励函数设计在减少对焦时间步数方面表现出色。

该研究为显微镜自动对焦技术的发展提供了新的思路和解决方案，具有重要的科学价值和应用前景。