其他
【精彩论文】基于深度强化学习的海上风电集群自进化功率平滑控制方法
观点凝练
摘要:海上风电集群的风速时空相关性强,加剧了整体有功输出的波动幅度,大规模并网对电力系统的影响更为突出,海上风电集群有功输出平滑控制是解决上述问题的关键手段。传统方法的优化效率低、难以支撑高频率控制,且对预测误差、执行偏差灵敏度过高。因此,提出了“策略离线训练、在线快速寻优、控制效果自进化”的控制架构,建立了深度强化学习的海上风电集群有功输出平滑控制模型。首先,提出了面向集群功率平滑控制的短期收益函数,基于马尔科夫决策过程模型求解最优指令;其次,提出了面向功率策略校准的长期收益Policy函数,根据历史反馈数据有效矫正控制偏差;最后,建立了智能体状态、控制收益和控制决策之间映射的深度神经网络模型,实现基于深度确定性策略梯度算法的智能体训练与求解。算例结果表明:在平均风速为7.5m/s的给定风况下,所提方法能够降低功率波动幅度达20%,同时将发电量损失控制在5%以内。
结论:本文提出了“策略离线训练、在线快速寻优、控制效果自进化”的控制方法和深度强化学习的海上风电集群有功输出平滑控制模型。结合算例分析,得出以下结论。
1)所提方法采用DDPG算法在离线训练中迭代优化决策网络,通过学习长期的实际反馈来有效修正预测误差带来的控制偏差,实现了控制模型的自进化。
2)利用决策网络在线快速寻优,大幅缩短了控制指令的运算时间,提高了在线决策速度。在本算例中,所提方法的平均优化时间较传统优化方法缩短了98%。
3)能够在满足较少压低负荷的前提下,有效平滑风电集群的总有功输出。算例表明,以平均风速7.5 m/s,湍流强度B级的某风电集群为测试环境,在减少5%发电量的情况下,平均能够降低20%的功率波动幅度,有比较良好的平滑控制性能。
引文信息
宋伟业, 刘灵玥, 阎洁, 等. 基于深度强化学习的海上风电集群自进化功率平滑控制方法[J]. 中国电力, 2023, 56(3): 36-46.SONG Weiye, LIU Lingyue, YAN Jie, et al. Self-evolving power smooth control method for offshore wind power cluster based on deep reinforcement learning[J]. Electric Power, 2023, 56(3): 36-46.往期回顾
审核:方彤