量子电路经典模拟的强化学习方法：并行环境与基准测试

作者与机构
本研究的作者为Xiao-Yang Liu（1,2）和Zeliang Zhang（2*），分别来自Rensselaer Polytechnic Institute（1）和Columbia University（2）。研究成果发表于第37届NeurIPS（Conference on Neural Information Processing Systems）2023的“Datasets and Benchmarks”专题。

学术背景
2019年，Google宣布基于53量子比特的Sycamore电路实现“量子霸权”（quantum supremacy），声称其任务在经典计算机上需耗时1万年。然而，这一结论因计算时间估算的争议性受到学术界质疑。后续研究将经典模拟时间缩短至21天，甚至更短。在此背景下，本研究提出一种基于强化学习（Reinforcement Learning, RL）的经典模拟方法，旨在通过优化张量网络收缩顺序（Tensor Network Contraction Ordering, TNCO）问题，显著提升模拟效率，并为量子霸权的验证提供公开可信的基准性能曲线。

研究方法与流程
1. 问题建模
- 将量子电路的经典模拟任务转化为TNCO问题，类比于旅行商问题（TSP），利用K-自旋伊辛模型（k-spin Ising model）进行数学建模。
- 提出基于哈密顿量（Hamiltonian）的强化学习算法，通过最小化乘法操作次数来优化收缩顺序。

1. 算法设计

   • 策略网络：采用Transformer架构，输入为表示张量网络的对称矩阵（维度关系矩阵），输出为收缩路径。
     
   • 并行环境：开发了12个大规模并行Gym环境，支持高效训练RL代理（agent），加速采样过程。
     
   • 创新技术：
     
     • 双回放缓冲区：一个存储迭代生成的收缩路径，另一个保留高质量路径，避免因GPU内存限制丢失关键数据。
       
     • 群智能（Swarm Intelligence）：训练多个优化器以避免局部最优，定期共享最优解并添加噪声以探索邻域。
       
     • 课程学习（Curriculum Learning）：从小规模张量网络开始训练，逐步增加问题复杂度，通过参数冻结策略调整优化难度。
       

2. 实验验证

   • 数据集：包括合成张量网络（如张量链Tensor-Train、随机张量网络）和Google Sycamore电路的实际数据。
     
   • 基线方法：对比了Opt-Einsum、Cotengra（含Greedy和Kahypar算法）、ACQDP及RL-TNCO等现有最优方法。
     
   • 性能指标：以乘法操作次数（对数尺度）和模拟时间为评估标准。
     

主要结果
1. 合成张量网络测试
- 在400–2000节点的张量链网络中，RL-Ising方法相比Cotengra-Kahypar提速2倍；对于1500节点以上问题，仍保持1.73倍优势。
- 在随机张量网络中（25–100节点），RL-Ising的乘法操作次数比RL-TNCO减少3.98倍。

1. Sycamore电路模拟

   • 对于53量子比特、20周期的Sycamore电路，RL-Ising仅需1.23×10^18次乘法操作，较ACQDP（21天模拟时间）提速5.4倍，预估模拟时间缩短至3.9天。
     
   • 结果证明，Google的“量子霸权”声明缺乏明确的首个实证支持，经典模拟仍具竞争力。
     

2. 大规模扩展性验证

   • 在100–500量子比特的扩展电路中，RL-Ising表现显著优于基线方法。例如，500量子比特时，速度提升达227倍，凸显其强扩展性。
     

结论与意义
1. 科学价值
- 通过强化学习优化TNCO问题，为量子电路的经典模拟提供了高效解决方案，挑战了“量子霸权”的现有论断。
- 提出的并行环境和基准测试框架（已开源）为后续研究提供了可复现的标准。

1. 应用价值
   
   • 为量子硬件开发提供了可信的性能验证工具，避免科技公司过早宣称“量子霸权”。
     
   • 开源代码与数据集（GitHub: rl4quantumcircuits）促进AI与量子物理社区的协作。
     

研究亮点
1. 方法创新：首次将K-自旋伊辛模型与强化学习结合用于TNCO问题，提出哈密顿量驱动的RL算法。
2. 性能突破：在Sycamore电路上实现4天内模拟的纪录，较现有最优方法提速5.4倍。
3. 开源生态：发布并行Gym环境、多类数据集及基准曲线，推动领域标准化。

其他亮点
- 跨学科融合：结合量子物理（张量网络）、组合优化（TSP）与机器学习（RL），展示了AI+X的潜力。
- 长期影响：呼吁学术界共同维护“经验量子霸权”（empirical quantum supremacy）的参考曲线，驱动硬件持续发展。