(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211025661.0 (22)申请日 2022.08.25 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 孟庆民　凡少林　邹玉龙　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 罗运红 (51)Int.Cl. H02J 3/46(2006.01) H02J 3/32(2006.01) H02J 3/00(2006.01) G06K 9/62(2022.01) G06N 3/08(2006.01)G06Q 10/06(2012.01) G06Q 30/02(2012.01) G06Q 50/06(2012.01) (54)发明名称 一种基于多智能体深度强化学习的5G基站 光储微电网系统调度方法 (57)摘要 本发明公开了一种基于多智能体深度强化 学习的5G基站光储微电网系统调度方法， 本发明 步骤如下： 首先将微电网引入5G基站中建立系统 模型， 之后为5G基站的负载建立数学模型， 先通 过智能反射表面(RIS)增强基站 的发射信号， 再 将5G基站光储微电网储能调度问题描述为马尔 科夫决策过程(MDP)， 不同的5G基站光储微电网 之间可以进行能量共享， 以多个5G基站光储微电 网系统调度模 型为状态空间， 以每个基站的储能 充放电、 不同基站之间可以进行能量交换为动作 空间， 通过对电价、 负荷量等数据和探索性策略 对神经网络参数不断进行训练， 并获得最优的储 能调度策略， 最终降低基站的运营成本 。 权利要求书4页 说明书9页 附图5页 CN 115459359 A 2022.12.09 CN 115459359 A 1.一种基于多智能体深度强化学习的5G基站光储微电网系统调度方法， 其特征在于， 包括以下步骤： 步骤(1)获取某地区家庭微电网一年的历史数据， 将这些数据经过预处理后构成训练 集； 步骤(2)在与主电网连接的每个5G基站中配备光伏组件， 并与5G基站本身 的备用电池 模型以及自身负荷量模型组成微电网系统模型， 根据系统各模型建立运行成本最小化模 型、 功率平衡条件和约束条件； 步骤(3)根据系统各模型和条件， 构建基于多智能体深度强化学习的5G基站光储微电 网系统的强化学习环境， 包括状态、 动作和奖励， 并根据DDPG算法构建行动者 ‑评论家 (Actor‑Critic)网络； 步骤(4)在多智能体深度强化学习的5G基站光储微电网系统的强化学习环境下， 将训 练集转换成状态信息 输入行动者 ‑评论家网络进行训练， 保存训练好的模型； 步骤(5)采集待调度的5G基站光储微电网系 统模型中光伏发电组件的日发电量， 日负 荷量， 日电池电量状态以及分时电价数据信息， 将数据信息经过 处理后输入训练好的模型， 得出使5G基站光储微电网运行成本最小的调度方案 。 2.根据权利要求1所述的一种基于多智能体深度强化学习的5G基站光储微电网系统调 度方法， 其特 征在于， 所述 步骤(1)包括如下步骤： (1.1)获取某地区家庭微电网一年的历史数据， 包括光伏发电量、 负荷量以及分时电价 信息； (1.2)对获取的历史数据进行 预处理， 包括数据清洗和对数据进行 标准化处理。 3.根据权利要求1所述的一种基于多智能体深度强化学习的5G基站光储微电网系统调 度方法， 其特 征在于， 所述 步骤(2)包括如下步骤： 在5G基站光储微电网系统 中， 运行成本Ct包括基站与主电网交易电量的成本， 基站与基 站之间的交易电量的成本， 以及基站电池的充放电损耗成本， 5G基站光储微电网系统与主 电网进行交易过程中， 假设基站数量 为M个， 对于第i个 基站， 模型如下： 其中， 为基站当前时刻从主电网购电的价格； 为微电网当前时刻向主电网售电 的价格， 为基站之间交易电量的电价， Ei,grid(t)为与主电网的交易电量， 其值取决于电池 充放电动作和电池荷电水平， Ei， B(t)为基站i与基站j之间的交易电量， Ci， b(t)为第t时刻第 i个基站电池的充放电损耗成本， Ci， b(t)遵循如下关系： Ci， b(t)＝cω*[Ei， c(t)+Ei， d(t)] 其中， Ci， b(t)为第t时刻第i个电池基站充放电损耗成本， cω为电池损耗系数， Ei， c(t)为 t时刻第i个基站备用电池的实际充电量， Ei， d(t)为t时刻第i个基站备用电池的实际放电 量； Ei， grid(t)遵循如下关系： Ei， grid(t)＝Ei， PV(t)+Ei， B(t)+Ei， b(t)‑Ei， load(t)权　利　要　求　书 1/4 页 2 CN 115459359 A 2Ei， load(t)为t时刻基站i负荷消耗量， Ei， PV(t)为t时刻光伏发电量， Ei， b(t)为t时刻储能 电池的充放电量； Ei， b(t)和Ei， B(t)遵循如下关系： 其中， Pi， ch(t)为基站i的备用电池在 t时刻的充电功率， Fi， diss(t)为基站i的备用电池在 t时刻的放电功率， Pi， j(t)表示基站i与基站j之间的充放电功率， Δt表示时间间隔， tc和td 分别表示充电时刻以及放电时刻； Ei， load(t)为t时刻基站i负荷消耗量， 包括基站的静态功率、 动态功率以及与基站相 连 的用户消耗的静态功 率， 假设每个基站都配备m个天线和K个单天线移动用户， RIS的反射元 件个数为 n， 每个元件功耗 为Pn， 则其模型表示如下： 其中， ω表示发射功率放大器效率的倒数， Pi， k表示基站i发射功率， 表示与基站i相 连的移动用户k消耗的静态功率， Pi， BS表示基站i的静态功率， nPn表示RIS的功耗， Δt表示时 间间隔； 若电池可充入电量或可放出电量达到电池的上下限， 则最大充放电功率等于向上可充 电容量或向下 可放电容 量与时间t的比值， 电池具有 充放电上 下限故其约束条件为： 其中， Si(t)为t时刻基站i的储能电池电量， Si， max、 Si， min分别为基站i的储能电池电量的 最大容量和最小容量， Pi， ch(t)为基站i的备用电池在t时刻的充电功率， Pi， diss(t)为基站i 的备用电池在t时刻的放电功率， 分别为第t小时基站i备用电池的最大 充、 放电功率， 其遵循如下关系： 其中， 为储能电池的最大充电功率限制值， 为储能电池的最大放电功率限制值， 和 分别为基站i向上 可充电容 量和向下 可放电容 量， 其遵循如下关系： 权　利　要　求　书 2/4 页 3 CN 115459359 A 3