(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211010385.0 (22)申请日 2022.08.23 (71)申请人 湖南工业大 学 地址 412007 湖南省株洲市天元区泰山西 路88号 (72)发明人 余岳　刘郁　文怀超　刘建华　 黄刚　朱永祥　何文鑫　杨晃民　 吴灿辉　胡辉　覃莲英　黄慧　 冯翔　 (51)Int.Cl. G06Q 30/02(2012.01) G06Q 40/04(2012.01) G06Q 50/06(2012.01) H02J 3/32(2006.01) H02J 3/38(2006.01) H02J 3/00(2006.01) (54)发明名称 一种基于强化学习考虑多重约束的多电动 车辆与多微电网的多方 博弈的能源交易系统 (57)摘要 本发明公开了一种基于强化学习考虑多重 约束的多电动车辆与多微电网的博弈的能源交 易方法及系统， 方法包括： 首先建立电动车辆充 放电过程中的随机变量模型， 并利用贝叶斯博弈 通过信息的不确定性(包括电动车辆的随机特 性)对参与者的角色进行建模； 其次确定多微电 网内部的调度结果， 确定每个时刻点对点分布式 交易环境下各台微电网的市场角色； 然后本发明 基于灵敏性分析的方法评估多方参与的能源交 易博弈对节 点网络的影 响， 并且电力交换保证不 违反网络约束以及碳排放标准； 最后建立点对点 分布式交易环境下多微电网与多电动车辆进行 多方博弈的效用函数模型， 以最大化交易双方的 利益为目的， 多次博弈， 最终达到博弈均衡， 从而 实现多方博弈的点对点分布式交易。 本发明能够 从低碳排放 以及经济效益的角度对多微电网与 多电动车辆的能源进行合理有效的调度控制， 除此之外， 本发明利用电动车辆充放电的特点， 缓 解负荷高峰期微电网的电力负 担， 实现削峰填谷 的作用。 促使多微电网与多电动车辆在多 方能源 交易的系统中获得的更优的经济效益。 权利要求书5页 说明书15页 附图5页 CN 115358783 A 2022.11.18 CN 115358783 A 1.一种基于强化学习考虑多重约束的多电动车辆与多微电网的多方博弈的能源交易 系统， 其特 征在于， 包括： 针对电动车辆的随机特性带来的能源交易的不确定性问题， 建立了关于电动车辆随机 特性的随机变量模型并利用贝叶斯博弈通过信息的不确定性对交易参与者的类型组合进 行建模； 其次采用天气预测和Weibull分布得到 分布式发电的功 率输出和家庭需求， 进而确 定24个时刻各台微电网在点对点分布式交易下的市场角色； 最后本发 明基于灵敏性分析的 方法评估多方参与的能源交易博弈对节点网络的影响， 并且电力交换保证不违反 网络约束 以及碳排放标准， 建立点对点分布式交易环境下多微电网与多电动车辆进 行多方博弈的效 用函数模 型， 将定价机制纳入系统内的能源调 度问题， 以最大化交易双方的利益为目的， 多 次博弈， 最终达 到博弈均衡， 从而实现多方 博弈的点对点分布式交易。 2.根据权利要求1所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博 弈的能源交易系统， 其特征在于： 所述电动车辆随机特性主要体现在24小时内荷电状态的 不同以及电动车辆到达微电网与离开微电网的时间不确定： 在一天开始 时， 电动车辆在一 定的荷电状态下从微电网离开， 荷电状态会随着行驶距离的增加而降低。 当电动车辆在一 天结束后到达该微电网时， 其到达后的荷电状态与出发时的荷电状态不相同， 因此在多方 博弈的能源交易系统电动车辆的到达微电网时的荷电状态与出发前 的SOC有关， 还与一天 的行驶距离有关， 即： 其中PoS表示电动车辆离开微电网时的荷电状态， Dr表示1KWh的能量电动车辆能行驶的距离， 依据前面的研究Dr＝6.7km/KWh， 表示最 低SOC的限制， 电池在行驶或者放电时不应低于最低SOC， 否则电池将被损坏。 D我们主要采 用2017年美国全国家庭旅行调 查旅游趋势中的统计每日行程长度； 其次， 我们采用统计建 模的方式处理电动车辆时间的不确定性， 即确定了这些不确定参数之后， 我们将电动车辆 的插入状态建模为马尔科夫链模型， 它 是一个动态系统， 在状态空间上随机的从一个状态 过渡到另一个 状态， 并且状态的变化都是独立的。 即： Φxy＝Pr[ωt+1＝x∣ ωt＝y,t],x,y∈{0,1} 其中ωt表示电动车辆是否插入微电网， ε(t)和δ(t)分别为PiT和PoT的跃迁概率。 ； 最 后， 基于贝叶斯博弈定义了 用来判断电动车辆n在交易系统中的角色类型； rt＝[rt1,..., rtn,...,rtN]表示电动车辆和微电网在时间t内的所有 类型组合， 和 分 别表示电动车辆n以及微电网的类型空间以及所有电动车辆和微电网的每种类型组合， 因 此 和rt∈Rt被定义。 3.根据权利要求2所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博 弈的能源交易系统， 其特征在于， 采用天气预测和Weibull分布得到 分布式发电的功 率输出 和家庭需求， 进而确定24个时刻各个微电网和电动车辆在点对点分布式交易下的市场角 色。权　利　要　求　书 1/5 页 2 CN 115358783 A 24.一种基于权利要求1至3中任一项所述系统的基于强化学习考虑多重约束的多电动 车辆与多微电网的多方 博弈的能源交易方法， 其特 征在于， 包括以下步骤： S101： 确定点对点分布式交易环境下 各个微电网和各个电动车辆的市场角色 S102： 输入初始电压条件、 节点注入功率； 其次， 给定初始价格以及每个交易对象能进 行交易的初始 功率； S103： 根据输入的初始电压条件以及节点注入功率将其进行聚类， 求解电压变化； 其次 测量节点功率变化量计算总线上 的输电分配系 数、 输入与输出间的损耗灵敏度； 根据初始 电价和功率迭代计算各 方收益； S104： 根据步骤S102中求得三种影响网络情况的结果转化为额外成本， 促使电网负荷 大大降低； S105： 根据电网内部分布式能源输出和多方博弈的情况预测微型汽轮机的出力情况以 及电动车辆充放电对电池的影响， 考虑微型汽轮机的碳排放成本、 电动车辆的电池降解成 本以及电池维护成本， 促使环境效益达 到最优。 S106： 根据以上建立的交易方需承担的成本建立多方博弈的效用函数模型， 并证明该 效用函数 是否存在唯一 解， 若存在则达成Nash均衡； S107： 根据迭代优化后的购电电价和富余电量求取整个多方博弈的过程中各方的收益 情况， 促使 整个交易系统的顺利进行。 5.根据权利要求4所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博 弈的能源交易系统， 其特征在于， 所述步骤S101中确定点对点分布式交易环境下多微电网 与多电动车辆在能源交易系统下的市场角色。 其方法主要为： 微电网在正常运行情况下， 由 于分布式可再生能源设备出力以及电力负荷需求的波动性， 微电网在 会面临电能不 足或过 剩的情况， 在不同时刻微电网会充当买方或卖方的不同角色。 除此之外， 电动车辆则是根据 权利1中随机变量模型求得插入微电网时的荷电状态以及离开微电网时的荷电状态， 进而 根据驾驶员第二天的行程需求， 判断其在不同时刻充当的角色。 6.根据权利要求5所述基于强化学习考虑多重约束的多电动车辆与多微电网的多方博 弈的能源交易系统， 其特征在于， 所述步骤S103中对包括电压敏感系数(VSC s)、 输电分配系 数(PTDFs)和损耗敏感系数(LSFs)在内的网络约束进行建模， 进一步根据以下公式进行计 算： 电压敏感系数计算如下： 有功功率的偏导数满足以下 方程组： 由于整个系统不是线性的， 但是相对于 和 它是线性的， 因此该系统相对于直角坐 标在实数上是线性的。 此外， 代入节点数据， 它具有唯一的解， 从而用来求解直角坐标下 的 偏导数。 当我们获得 和 时， 电压幅值的偏导数 可以表示 为： 输电分配系数计算如下：权　利　要　求　书 2/5 页 3 CN 115358783 A 3