(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210848364.X (22)申请日 2022.07.19 (71)申请人 东南大学溧阳研究院 地址 213300 江苏省常州市溧阳市昆仑街 道泓口路218号A幢428室 （江苏中关村 科技产业园内） (72)发明人 臧汉洲　叶宇剑　汤奕　钱俊良　 周吉　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 景鹏飞 (51)Int.Cl. G06Q 30/02(2012.01) G06Q 50/06(2012.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 7/00(2006.01) (54)发明名称 一种基于内点策略优化的电动汽车充放电 策略优化方法 (57)摘要 本发明公开一种基于内点策略优化的电动 汽车充放电策略优化方法， 涉及电动汽车充放电 调度领域， 该方法包括： 首先根据实际物理机理 构建电动汽 车充放电模型， 同时基于电动汽车充 放电部署优化问题建模为约束序贯决策问题。 然 后利用长短期记忆神经网络提取时变电价的未 来走势， 辅助后续深度强化学习进行策略优化。 最后， 将提取到的电价信息和电动汽 车内部状态 特征输入到基于深度神经网络的策略函数， 赋能 部署智能学习充放电动作， 并通过对 数障碍函数 将电量约束扩充到内点策略优化的优化目标中 进行策略优化。 本发明部署优化方法在满足电动 汽车用电需求的前提下最小化用户充电成本， 同 时提升策略对不确定性的适应性。 权利要求书3页 说明书7页 附图4页 CN 114997935 A 2022.09.02 CN 114997935 A 1.一种基于内点策略优化的电动汽车充放电策略优化方法， 其特征在于， 包括以下步 骤： Step1： 对电动汽车在动态电价下的慢充过程建模， 描述EV蓄电池状态空间， 考虑车主 用电需求约束， 将电动汽车充放电策略部署问题建模为约束马尔科 夫决策问题； Step2： 利用长短期记忆神经网络提取时变电价的未来走势， 辅助后续深度强化学习进 行策略优化， 实现对EV充放电策略有效部署； Step3： 采用基于内点策略优化算法， 利用对数障碍函数转化电量约束条件， 在深度神 经网络中优化策略部署， 最小化用户充电成本； Step4： 根据训练所得策略， 将外部环境与部署智能体交互， 获得实时电动汽车充放电 决策。 2.根据权利要求1所述的一种基于内点策略优化的电动汽车充放电策略优化方法， 其 特征在于， 所述 步骤Step1中电动汽车在动态电价下慢充的模型如下： 式中： t0和t1分别表示电动汽车到达、 离开时间， 且到达和离开均在时刻初发生； E0是电 动汽车充放电开始时刻的剩余电量， Et与Et+1为t和t+1时刻的SOC值； ηch和 ηdis为充电与放电 时EV电池能量转换效率； 和 分别为充、 放电最大功率； Δt为每个充电动作持续时 长； at为电动汽车充放电功率， 当at＞0时， 表示电动汽车充电， 反 之则表示 放电； 电动汽车充放电部署智能体与环境： 电动汽车充放电部署智能体与环境交互学习经验 并对充放电部署策略进行优化； 智能体观测的环境分为两个部分， 一部分为电动汽车实时 SOC值， 另一部分则为该时间节点的时变电价； 状态集S： t时刻环境状态可定义 为： st＝(Et,Pt‑23,K,Pt) 式中包含三种类型的信息： Et为t时刻电动汽车SOC值； (Pt‑23,K,Pt)表示过去24小时内 的电价； 动作集A： 在t时刻的动作at表示单位时间内电动汽车充放电功率， at×Δt为Δt时段内 电动汽车电能转换量； 约束马尔科夫决策过程问题核心是在满足约束函数ct前提下， 最大化奖励函数rt给出 最优策略， 因此电动汽车充电部署的优化目标是保证满足车主用电需求约束 下的充电费用 最少： (1)充电费用即奖励值： rt＝R(st,at,st+1)＝‑at×Pt 式中： 在充电过程中， 奖励表示单位时间充电功率与t时刻电价乘积， 即收费成本的负 值； 在放电过程中， 奖励代 表了向电网出售电力的收入； (2)电量约束即约束值：权　利　要　求　书 1/3 页 2 CN 114997935 A 2式中， |Et‑Etarget|为充电完成 时刻， 电池电量Et与充电目标Etarget偏差值； Et‑Emax和Emin‑ Et表示结合实际物理机理， 保证在EV电池容 量范围内进行充放电； 电动汽车充放电部署智能体学习的目标在于求解满足电量约束条件下的T时段总期望 折扣奖励JC( π )最大， 目标函数表示 为： ΠC＝{ π:JC( π )≤d} 式中： γ为折扣因子， 用于平衡当前约束值与未来约束值； d表示 一个极小的约束方差 。 3.根据权利要求1所述的一种基于内点策略优化的电动汽车充放电策略优化方法， 其 特征在于， 所述步骤Step2中， 利用长短期记忆神经网络提取时变电价未来走势的特征信 息， 具体包括以下步骤： 长短期记忆神经网络与预测模块计算流程为： LSTM 网络展开成一个23层的神经网络结 构； 其中， 第一层的输入Xt‑22表示为Xt‑22＝Pt‑22‑Pt‑23， 其中Pt‑22和Pt‑23分别代表t ‑22时刻和 t‑21时刻的时变电价； yt‑22表示第一层的输出， ct‑22表示其细胞状态； 包含过去电价信息 yt‑22和ct‑22被传递到下一层； 这个过程 一直重复到最后一层； LSTM通过“门”的机制保护和控制细胞状态， 来实现记忆信息的选择性传递， 包括遗忘 门、 输入门、 输出门： 式中： Oforget(t)、 Oinput(t)、 Oout(t)分别表示t时刻遗忘门、 输入门、 输出门的输出矩阵； Wyf、 Wxf、 Wyi、 Wxi、 Wyo、 Wxo分别表示遗忘门、 输入门、 输出门与t ‑1时刻输出yt‑1、 t时刻输入xt的 连接权值矩阵； bf、 bi、 bo分别表示对应支路上门的偏置向量； σ 表示激活函数； 由此， 时序电价未来趋势提取的计算公式如下： 式中： Oz(t)为t时刻输入到细胞状态模块的预处理信息； Wyz、 Wxz分别表示t ‑1时刻输出 yt‑1、 t时刻输入xt与Oz(t)的连接权值矩阵； bz为偏置向量； ·表示矩阵的哈达玛乘积； tanh 为激活函数。 4.根据权利要求1所述的一种基于内点策略优化的电动汽车充放电策略优化方法， 其 特征在于， 所述 步骤Step3中， 利用对数障碍函数扩充电量约束， 具体包括以下步骤：权　利　要　求　书 2/3 页 3 CN 114997935 A 3