近期，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院（ZJUI）一项基于强化学习的电动汽车-光伏协同控制的研究成果被电气领域旗舰期刊IEEE Transactions on Industry Applications (IEEE TIA)接收，ZJUI博士生孙方圆为文章的第一作者，唯一通讯作者为ZJUI副教授刁瑞盛，其他作者还包括ZJUI博士生兰图等。IEEE TIA期刊是IEEE工业应用学会（IAS）旗舰期刊，涉及的技术主题涵盖了电气与电子领域理论与工程应用，在工业自动化、电机、电力电子领域拥有较高影响力。

随着新能源接入规模不断增长，电力系统不确定性显著增加，发电与用电的平衡调节压力增大。电动汽车大量接入电网后，相当于大量储能设备接入了电网，如能在满足用户充电需求的同时，对电动汽车的充放电过程进行合理调控，则将降低电网发用电平衡的压力。另一方面，对于大型露天电动汽车充电站，在遮阳棚顶安装光伏将有效节约用电成本。课题组综合考虑电网调控需求、用户充电需求、光伏发电量等因素，合理规划充电站内各电动汽车充电过程，并通过响应电网需求有效降低充电站运行成本，提高收益。

电动汽车充放电控制存在控制维度高、电动汽车入站不确定性强等问题，同时与光伏的协同进一步增加了控制难度。针对这些问题，该团队提出了一种基于强化学习的电动汽车充放电控制方法，综合考虑反应电网需求的电价变化、光伏出力变化、以及随机性的电动汽车出入站时间和用电需求。

▲ 电动汽车充电站-光伏协同控制结构图

该团队首先设计了电动汽车内部集群化控制方法，将充电站总体的充电功率自动分配至站内每一辆电动汽车上，保证每一辆电动汽车的充电需求在预设的离开时间之前被满足，优先为剩余停留时间短的电动汽车充电，以降低随机性风险。该方法还可以将决策变量维度降至一维，即充电站总体充电功率，从而显著降低决策难度。

接着，该团队采用了SAC算法实时求解最优的充电站充电功率，该算法同时考虑预测信息和当前站内空闲充电桩数量等因素进行最优决策，其中预测信息包括电价、光伏出力、电动汽车出入站数量，算法整体思路如下：

▲ 算法整体架构图

结果显示，所述方法可以根据各类运行状态合理规划充电站功率，同时，由于基本的短时预测信息外，强化学习智能体还自动分析了一天之内各类不确定性信息的变化过程，因此比传统基于模型的方法具有更高的精度，在测试场景下，所提算法下充电站收益提高了13.7%。

▲ 测试日智能体决策情况；（上图）一天内光伏出力与充电站充电功率；（左下）一天内充电站被占用的充电桩数量；（右下）充电功率大小控制信号

▲ 不同强化学习算法以及与基于模型求解算法的对比

浙江大学伊利诺伊尔巴纳香槟校区联合学院新能源电力系统仿真与智能控制研究课题组

“新能源电力系统仿真与智能控制”课题组成立于2022年，主要研究方向包括：高精度电力系统建模与仿真技术、高比例新能源并网技术、电力电子化电力系统稳定机理与控制，高性能计算与人工智能在电力系统中应用、电网在线安全评估与决策、分布式资源聚合及管理等。

刁瑞盛教授本科（2004）、硕士（2006）毕业于浙江大学电力系统及其自动化专业(导师：徐政教授，IEEE Fellow)，博士（2009）毕业于美国亚利桑那州立大学电气工程专业(导师：Vijay Vittal教授，美国工程院院士，IEEE Fellow)。他长期从事电网高精度仿真建模分析、高性能计算、优化控制策略和人工智能技术在电力系统中应用等研究工作。在加入ZJUI前，刁瑞盛曾任美国能源部西北太平洋国家实验室（PNNL）先进电网分析部门负责人、全球能源互联网美国研究院电力人工智能研发负责人兼部门行政副主管等职务。2022年，刁瑞盛加入ZJUI任副教授。2023年，刁瑞盛当选英国工程与技术学会会士（IET Fellow)。刁瑞盛团队所研发的一系列科技产品原型已被商业化，并在多家北美电力公司、中国国家电网公司、南方电网公司大规模使用，其中基于深度强化学习人工智能技术的电网智能调控决策系统，其关键技术处于国际领先水平，极大促进了新能源电力系统规划与调度运行智能化升级。