【精彩论文】基于RG-DDPG的直流微网能量管理策略

观点凝练

摘要：针对分布式能源的随机性和间歇性给直流微网能量管理带来的巨大挑战，提出一种基于奖励指导深度确定性策略梯度（reward guidance deep deterministic policy gradient，RG-DDPG）的直流微网能量管理策略。该策略将直流微网的优化运行描述为一个马尔科夫决策过程，利用智能体与直流微网环境间的持续交互，自适应地学习能量管理决策，实现直流微网能量的优化管理。在策略训练过程中，采用基于时序差分误差（temporal difference error，TD-error）的优先经验回放机制减少RG-DDPG在直流微网运行环境中学习、探索的随机性和盲目性，提升所提能量优化管理策略的收敛速度。同时，在训练回合间利用累计奖励的大小构造直流微网能量管理的优秀回合集，加强RG-DDPG智能体在训练回合间的联系，最大化利用优秀回合的训练价值。算例仿真结果表明：所提策略能够实现直流微网内能量的合理分配。相较于基于深度Q网络（deep Q-network，DQN）和粒子群算法（particle swarm optimization，PSO）的能量管理策略，所提策略能使直流微网日平均运行成本分别降低11.16%和7.10%。
结论：针对直流微网的优化运行问题，本文提出一种基于RG-DDPG的直流微网能量管理策略。该策略将负荷和储能电池视为智能体构建直流微网能量管理的马尔科夫决策过程，通过对智能体进行训练实现所建直流微网模型的最优能量管理，主要结论如下。

1）提出基于TD-error的经验回放机制，采用经验池回放的方式，选择性重复使用历史数据以减少数据间的相关性，加快智能体的学习和训练过程。

2）提出基于累计奖励的优秀回合集模块，通过概率从优秀回合集中抽取优秀回合训练的方式最大化优秀回合的学习价值，加快智能体的收敛速度。

3）避免了DQN动作和状态空间离散化带来的信息缺失问题及PSO算法易陷入局部最优的问题，能够对直流微网内各主体的能量进行合理调度，进而提高直流微网运行的经济性。

引文信息

李建标, 陈建福, 高滢, 等. 基于RG-DDPG的直流微网能量管理策略[J]. 中国电力, 2023, 56(7): 85-94.LI Jianbiao, CHEN Jianfu, GAO Ying, et al. Strategy for dc microgrid energy management based on RG-DDPG[J]. Electric Power, 2023, 56(7): 85-94.

欢迎点击文后“阅读原文”跳转期刊官网，获取更多信息！

 往期回顾 

编辑：于静茹

校对：王文诗

审核：方彤

声明

根据国家版权局最新规定，纸媒、网站、微博、微信公众号转载、摘编《中国电力》编辑部的作品，转载时要包含本微信号名称、二维码等关键信息，在文首注明《中国电力》原创。个人请按本微信原文转发、分享。欢迎大家转载分享。