本文档属于类型a，即报告了一项原创研究。以下是针对该研究的学术报告：
作者及机构
本研究的主要作者包括Mateusz Ostaszewski（波兰科学院理论与应用信息研究所）、Lea M. Trenkwalder（因斯布鲁克大学理论物理研究所）、Wojciech Masarczyk（华沙理工大学）、Eleanor Scerri（莱顿大学）和Vedran Dunjko（莱顿大学）。该研究发表在2021年的第35届神经信息处理系统会议（NeurIPS 2021）上。
学术背景
本研究的主要科学领域是量子计算，特别是变分量子特征求解器（Variational Quantum Eigensolver, VQE）的优化。VQE是一种混合量子-经典算法，用于计算化学系统的基态能量，被认为是近期量子设备（Noisy Intermediate-Scale Quantum, NISQ）应用的重要方向之一。然而，VQE的性能高度依赖于所使用的变分量子电路（ansatz）的结构，需要在电路的深度和表达能力之间取得平衡。NISQ设备的限制要求电路尽可能浅且高效。因此，本研究旨在通过强化学习（Reinforcement Learning, RL）方法优化VQE电路结构，以在保持低深度的同时最大化电路的表达能力。
研究流程
本研究包括以下几个主要步骤：
问题定义与目标设定
研究目标是通过强化学习算法自动探索可能的VQE电路结构，找到在低深度下仍能准确估计基态能量的电路。具体来说，研究团队开发了一种基于反馈驱动的课程学习方法，能够根据当前算法的性能动态调整学习问题的复杂度，逐步提高结果的准确性并最小化电路深度。
强化学习环境的设计
研究将VQE电路优化问题建模为一个强化学习环境。状态（state）表示当前电路，动作（action）表示添加到电路中的量子门。环境过渡是确定性的，因为下一个状态由前一个状态和采取的动作决定。奖励函数根据当前电路的能量估计值与目标能量的接近程度计算，目标是使能量估计值达到预设的化学精度（chemical accuracy）。
课程学习方法的引入
研究提出了一种反馈驱动的课程学习方法，动态调整学习任务的难度。初始阈值设定为较高的值，随着代理（agent）性能的提升，逐步降低阈值，直到达到化学精度。这种方法避免了代理在训练初期因任务难度过高而失败的问题。
实验设计与实施
研究以锂氢化物（LiH）分子的基态能量估计为基准问题，验证了所提出算法的性能。实验分为两部分：第一部分在4量子位的简化LiH哈密顿量上进行，测试了不同优化策略（全局优化和局部优化）和优化器（COBYLA和Rotosolve）的效果；第二部分在6量子位的完整LiH哈密顿量上进行，验证了课程学习方法的有效性。
数据收集与分析
实验记录了每次训练中电路的能量估计值、电路深度和门数量。通过比较不同策略和优化器的结果，研究团队评估了所提出算法的性能，并与传统方法（如硬件高效ansatz和UCCSD ansatz）进行了对比。
主要结果
1. 4量子位LiH实验
在4量子位的LiH实验中，所提出的强化学习算法在大多数情况下生成了比传统方法更浅且门数更少的电路。特别是在全局优化策略下，算法在所有试验中均达到了化学精度，且平均电路深度和门数量显著低于传统方法。
2.6量子位LiH实验**
在6量子位的LiH实验中，固定阈值方法未能达到化学精度，而反馈驱动的课程学习方法成功生成了符合化学精度的电路。研究团队发现，所提出的方法生成的电路深度比文献中报道的类似方法浅约5倍，显示了其优越性。
结论
本研究提出了一种基于强化学习的VQE电路结构优化方法，通过反馈驱动的课程学习策略，能够在保持低电路深度的同时实现化学精度。该方法在LiH分子基态能量估计问题上展示了卓越的性能，生成了比传统方法更浅且更高效的电路。这一研究为量子计算中的变分算法优化提供了新的思路，具有重要的科学和应用价值。
研究亮点
1. 创新性方法
本研究首次将强化学习与课程学习结合应用于VQE电路优化，提出了一种反馈驱动的动态调整策略，显著提高了算法的性能和鲁棒性。
显著的实验结果
所提出的方法在LiH分子基态能量估计问题上实现了化学精度，且生成的电路深度和门数量均优于传统方法，展示了其在实际应用中的潜力。
广泛的适用性
该方法不仅适用于量子化学问题，还可推广到其他基于变分电路的算法，如量子机器学习和优化问题。
其他有价值的内容
本研究还探讨了在不知道精确基态能量的情况下，如何通过粗略的能量下界指导代理训练，进一步扩展了方法的适用范围。此外，研究团队提供了详细的实验设置和参数选择，为后续研究提供了重要的参考。
以上是本研究的全面报告，展示了其在量子计算领域的重要贡献和潜在应用价值。