类型a：学术研究报告

作者及机构
本研究的作者为孙惠娟、方欣、周斌、彭春华，均来自华东交通大学电气与自动化工程学院。该研究于2025年9月4日在《电网技术》（*Power System Technology*）期刊网络首发，DOI编号为10.13335/j.1000-3673.pst.2025.0627。

学术背景
本研究属于能源经济与电力市场优化领域，聚焦电-碳-绿证耦合市场（Electricity-Carbon-Green Certificate Coupled Market）下多主体竞价行为的建模与分析。随着中国“碳达峰、碳中和”战略的推进，碳排放权交易市场（Carbon Emission Trading, CET）和绿色电力证书交易市场（Green Certificate Trading, GCT）与电力市场形成紧密耦合，但现有研究多基于完全理性假设的传统博弈论，难以刻画市场主体在动态环境中的有限理性行为。因此，本研究旨在通过演化博弈理论（Evolutionary Game Theory）结合多智能体深度强化学习（Multi-Agent Reinforcement Learning, MARL），构建更贴近现实的竞价模型，分析耦合市场对主体策略及系统均衡的影响。

研究流程与方法
1. 耦合市场交易模型构建
- 基于电力市场、碳市场和绿证市场的联动机制，建立了包含价格传导效应的交易框架（图1）。其中，电力市场出清电价受碳价和绿证价格影响，碳市场通过配额约束调节火电机组出力，绿证市场则激励新能源消纳。
- 量化了碳排放成本（式4）、绿证交易量（式5-8）及主体收益函数（式12-20），并引入新能源出力不确定性模型（式13-14），假设预测误差服从正态分布。

1. 多主体演化博弈竞价模型

   • 将市场主体分为火力发电主体、新能源发电主体和虚拟电厂（Virtual Power Plant, VPP）三类，分别定义其策略集（式21-26）。例如，火电主体需决策报价系数、碳交易量和绿证购买量，而新能源主体仅优化绿证出售量。
     
   • 采用演化博弈复制动态方程（式29）模拟群体策略调整过程，通过收益比较驱动策略迭代，最终收敛至演化稳定均衡（Evolutionarily Stable Strategy, ESS）。
     

2. 算法设计与求解

   • 针对模型的高维非线性和信息不完全性，提出多智能体交叉熵-孪生延迟深度确定性策略梯度算法（MA-CETD3）。该算法结合交叉熵方法（CEM）的全局搜索能力与多智能体强化学习（MATD3）的局部优化优势：
     
     • CEM阶段通过采样策略参数分布筛选精英样本（式33），更新均值与方差以覆盖解空间；
       
     • MATD3阶段利用经验回放缓冲区（式34）和孪生批评网络（附录C）缓解价值高估问题；
       
     • 动态调整混合目标函数权重（式35）平衡探索与开发。
       

3. 算例验证与对比分析

   • 基于IEEE 30节点系统设计仿真，包含2个火电主体、2个新能源主体（风电、光伏）和2个虚拟电厂（附录D图D2）。
     
   • 设置三种场景对比：单一电力市场（场景1）、电-绿证耦合市场（场景2）、电-碳-绿证耦合市场（场景3）。结果显示：
     
     • 场景3中，火电主体因碳成本增加导致中标电量下降（图3），新能源和虚拟电厂主体收益分别提升至85,938元和197,379元（表1）；
       
     • 虚拟电厂通过内部储能调节风光出力偏差，绿证出售收益显著（图4）。
       
   • 参数敏感性分析表明，碳配额系数降低至0.25 t/MWh时，系统碳排放减少21%，但电价上升12%（图5）；绿证配额系数超过60%后，绿证价格因供需反转而下降（附录D图D6）。
     

主要结果与逻辑关联
- 算法性能：MA-CETD3相比传统MATD3算法，训练回合数减少22%（2500 vs. 3200回合），全局收益提升5.75%（表2），验证了其在高维策略空间中的高效收敛性（图7）。
- 市场效应：耦合市场通过价格信号引导资源优化配置，场景3的新能源消纳比例较场景1提高89%，碳排放量下降34%（附录D表D3-D5）。
- 策略稳定性：竞价系数在训练后期波动收敛（图8），表明模型能有效模拟主体学习过程。

结论与价值
本研究提出了一种创新的电-碳-绿证耦合市场分析框架，其科学价值在于：
1. 通过演化博弈理论刻画有限理性主体的动态策略调整，弥补了传统博弈论的局限性；
2. MA-CETD3算法为高维非线性博弈问题提供了高效求解工具；
3. 揭示了配额系数与惩罚机制对市场均衡的影响规律，为政策设计提供量化依据。
应用层面，该模型可辅助市场主体制定竞价策略，并为多市场协同运行提供决策支持。

研究亮点
1. 方法论创新：首次将演化博弈与多智能体深度强化学习结合，解决了耦合市场下多主体竞价的复杂性问题；
2. 实证贡献：通过IEEE 30节点系统量化了碳-绿证政策组合的市场效应；
3. 算法优势：MA-CETD3的混合优化机制显著提升了训练效率与解的质量。

其他有价值内容
附录中详细列出了系统运行约束（附录A）、收益函数推导（附录B）和MATD3算法更新流程（附录C），为模型复现提供了完整的技术细节。