【精彩论文】基于深度Q学习的含用户侧储能微电网频率-电压数字化智能控制策略

观点凝练

摘要：频率与电压是衡量电能指标的重要标准。针对微电网受到负荷波动而引起的频率/电压调控问题，提出基于深度Q学习(deep Q-learning, DQN)的含用户侧储能微电网智能监控-控制策略。首先，通过考虑用户行为的随机性，增加了用户侧储能输出的随机约束，并引入四象限充放电的模型，构建用户侧储能的集群充放电模型，从而搭建出微电网频率-电压的协同控制模型。其次，设计基于DQN的频率/电压控制器结构与数字化智能控制平台，以系统实时的频率偏差、电压偏差与用户侧储能输出功率的上、下限约束为状态空间，以系统各机组出力为动作空间，并基于频率及电压2个控制目标，完成包含2个本地奖励的全局奖励函数的设计。算例结果表明：与传统PID控制器相比，所提DQN控制器能同时满足频率与电压的控制需求，更有效地应对负荷波动所引起的电能质量问题。
结论：针对孤岛微电网稳定性受负荷影响大、频率和电压难以同时控制的问题，本文提出了一种含用户侧储能的孤岛微电网电压/频率控制策略。得出主要结论如下。

（1）本文所提DQN控制器能够基于大量数据进行试错学习，适应用户侧储能与负荷在日内所发生的随机性变化，从而更有效地处理负荷随机扰动，并且能够协调孤岛微电网的频率和电压恢复：当常规负荷发生变化时，DQN控制器可以保证微电网的频率偏差保持在±1×10−2 Hz以内，电压偏差也接近于0。

（2）用户侧储能充放电模型的实现效果较好，其输出功率限幅受到用户行为的随机影响。

（3）依托数字化控制平台，利用人工智能、大数据等技术深挖历史信息数据价值，应用控制模型的自主学习能力，实现管控平台的自主决策。

此外，本文所提出的控制策略主要应用于孤岛微电网的频率-电压协同控制中，对于结构更为复杂、体量更大的互联多微网系统，需要考虑多微电网之间的协调控制与功率、信息传输问题，后续工作将着力对此方向进行深入分析研究，加入对多智能体算法的考虑。

引文信息

林日晖, 陈友立. 基于深度Q学习的含用户侧储能微电网频率-电压数字化智能控制策略[J]. 中国电力, 2022, 55(12): 43-50.LIN Rihui, CHEN Youli. Frequency-voltage digital intelligent control strategy of microgrid with user-side energy storage based on deep Q-learning[J]. Electric Power, 2022, 55(12): 43-50.

欢迎点击文后“阅读原文”跳转期刊官网，获取更多信息！

 往期回顾 

编辑：于静茹

校对：王文诗

审核：方彤

声明

根据国家版权局最新规定，纸媒、网站、微博、微信公众号转载、摘编《中国电力》编辑部的作品，转载时要包含本微信号名称、二维码等关键信息，在文首注明《中国电力》原创。个人请按本微信原文转发、分享。欢迎大家转载分享。