EV的routing和scheduling#

给定EV的出发地点、到达地点以及出发时间，可以确定EV在交通网络中的路径选择行为。

例如：

早上7:30从家出发去公司。

作者用一个二进制变量表示：

第 (i) 辆EV在时间 (t) 是否选择道路 (r)。

• (u^{rd}_{i,r,t}=1)：在这段时间走道路 (r)
• (u^{rd}_{i,r,t}=0)：不走道路 (r)

一辆EV在一个时间步只能处于一条道路上。

目标函数(2)：

希望最小化EV完成个人出行所需要的总通勤时间，考虑交通流量变化之后，寻找预期通勤时间较小的路线。

其中：

• (R_o)：这辆EV这次出行实际可能经过的路线集合
• (T^{trl}_{r,t})：道路 (r) 在时间 (t) 的行驶时间
• (\mathbb E)：期望，因为交通流量具有不确定性

作者还特别说明，道路上的交通流量不仅包括普通车辆，还包括研究中的EV自身。

作者接下来定义：

EV完成这段行程需要消耗多少电能。

其中：

• (V^{avg}_{r,t})：道路平均速度
• (T^{trl}_{r,t})：道路行驶时间
• (P(V^{avg}))：车辆在该平均速度下对应的功率

所以逻辑是：

接下来作者开始定义EV接入电网后的情况。

这里首先出现两个功率变量：

• (P^c_{i,t})：充电功率
• (P^d_{i,t})：放电功率

其中放电功率 (P^d) 是负数。

作者定义：

其中：

• (u^{ev}=1)：充电
• (u^{ev}=0)：放电

另外还有一个变量：

表示：EV此时有没有连接到电网。

• (A=1)：connected
• (A=0)：not connected

而这个 (A_{i,t}) 又是由前面的 routing 决定的。

下一个公式描述EV的充电：

只有在“接入电网 + 处于充电状态”时，EV才能充电。

如果：

• (u^{ev}=1)
• (A=1)

那么：

可以正常充电。

而只要其中任一个是0，则：

控制放电：

首先当 (u^{ev}=1) 时：

也就是不能一边充一边放。

当 (u^{ev}=0,\ A=1) 时：

于是可以放电。

接下来作者定义up-BS： 减少当前充电，或者增加当前放电。

定义 (B^u_{i,t}) 表示EV能提供的向上调节能力 / 上调备用容量。

而 (B^d_{i,t}) 就是：向下调节能力 / 下调备用容量。

BS容量受到EV最大功率限制，同时还必须考虑当前已经安排好的充放电功率。

这篇论文里，作者用 (S^{ev}_{i,t}) 表示 EV (i) 在时刻 (t) 的电池能量状态，并用它来约束 EV 能提供多少充放电和辅助服务。

假如一辆车当前SOC已经很低，它即使功率上还有能力放电，也不能无限提供向上服务。反过来：如果SOC已经很高，也不能无限继续充电。因此作者对BS的能量水平又增加了电池容量和SOC约束。

同时约束SOC范围：

即EV当前储能状态必须位于允许范围内。

当 (A_{i,t}=1)，也就是EV接入电网时：

当前SOC + 充电增加的能量 + 放电减少的能量。

当 (A_{i,t}=0)，即EV不接电网、正在路上：

则开车消耗多少电，SOC就下降多少。

1
交通网络
2
↓
3
路线
4
↓
5
行驶时间 / 速度
6
↓
7
交通能耗 E_con
8
↓
9
SOC下降
10
↓
11
后续能否继续出行 / 提供电力服务

与此同时：

1
电力网络
2
↓
3
充放电
4
↓
5
SOC变化
6
↓
7
影响EV后面的交通能力

用一个分情况方程把“接电时充放电”和“行驶时消耗能量”统一起来。

EV希望最小化自己的expected net cost：期望净成本。

这里包括四类经济量：

1.买电充电——EV从配电网买电，

2.参与需求管理——例如系统需要削减高峰需求，EV通过放电等方式参与，

3.碳强度服务：EV把电能卖回国家电网、响应碳强度信号，

4.提供 up-BS / down-BS：EV向系统运营商承诺备用调节能力然后根据备用容量获得收入。

其中：

是通过节点电价 LMP 计算电能交易产生的成本/收益。

因为这里 (P^d<0)，所以放电的时候这一项会变成负值，相当于卖电获得收入。

而：

则对应提供上下平衡服务得到的收入。

作者接下来解释配电网运营商（DNO）负责，在每个时间步管理电网资源，平衡节点上的供需。

然后DNO把Locational Marginal Price（LMP）节点边际电价发布给停在对应母线的EV。不同位置的EV，面对的电价可能不同。

而 up-BS / down-BS 是系统运营商另外采购的服务，所以它的收益直接按 (\lambda_b) 计算。

1
                交通网络
2
                   │
3
                Routing
4
                   ↓
5
          走哪条路 / 何时到达
6
                   ↓
7
              交通能耗
8
                   ↓
9
                  SOC
10
                   ↑
11
                   │
12
        ┌──────────┴──────────┐
13
        │                     │
14
     Charging              Discharging
15
        │                     │
16
        └──────────┬──────────┘
17
                   ↓
18
             电力网络服务
19
       ┌──────────┼──────────┐
20
       ↓          ↓          ↓
21
    Demand      Carbon      Balancing
22
   management  intensity    up/down

Routing 决定 EV 什么时候、在哪里能够参与电力服务，同时产生交通能耗；Scheduling 决定 EV 如何利用电池参与电力服务，又反过来影响电池能量状态。

变量总结：

交通网络建模#

本文采用 O-D（Origin-Destination）网络描述EV的交通行为。交通网络由若干个起点—终点（O-D）对构成，在本文中分别对应 EV 的两类日常出行：

Home → Office Office → Home

每个 O-D 对之间存在多条可选路线（route），而每条路线又由若干条道路（road）组成。EV在交通网络中根据实时交通状态进行路径选择。

对于道路 (r)，其在时间 (t) 的行驶时间记为 (T^{trl}_{r,t})。由于交通流量随时间变化，同一道路在不同时刻具有不同的行驶时间。

本文采用基于美国 Bureau of Public Roads 的交通流模型描述交通流量与道路行驶时间之间的关系：

其中：

(T^{trl,0}{r})：道路 (r) 在自由流状态下的行驶时间； (V^{rd}{r,t})：道路 (r) 在时间 (t) 的实时交通流量； (Cr)：道路 (r) 的通行容量； (\alpha^{rd}{r},\beta^{rd}_{r})：描述交通拥堵特性的参数。

该模型表达了交通流量增加时道路行驶时间随之增加的关系，同时能够反映交通流本身所产生的道路阻抗。

对于一条完整路线 (k)，其由若干道路组成。定义：

其中，(\Theta_{r,k}) 用于表示道路 (r) 是否属于路线 (k)：

因此，路线的总行驶时间就是其所经过各道路行驶时间之和。

道路的实时交通流量由两部分构成：

• 其他类型车辆形成的基础交通流量； 当前在该道路上行驶的EV。

具体表示为：

其中：

(d^{rd}{r,t})：道路 (r) 在时间 (t) 的基础交通流量，即其他类型车辆形成的交通流； (u^{rd}{i,r,t})：前述EV路径选择变量，表示EV (i) 在时间 (t) 是否位于道路 (r)。

因此，EV自身的路径选择会直接影响道路交通流量，而交通流量又会影响道路行驶时间。由此形成：

这意味着多个EV之间并非完全独立地进行路径选择：一个EV进入某条道路后，会增加该道路的交通流量，并可能影响其他EV后续的路径决策。

在得到道路行驶时间后，可以进一步计算道路平均速度：

其中 (L_r) 为道路 (r) 的行驶距离。

因此，交通网络模型形成了完整的计算链：

在前一节中，平均速度和行驶时间进一步用于计算EV的交通能耗 (E^{con}_{i,t})，因此交通网络最终会影响EV的电池能量状态。

因而对于交通网络来说，文章结构大致是这样：

同时，由于EV本身也会进入交通流量计算，因此这一关系又具有反馈性。这使得交通网络成为后续多EV协同决策环境的重要组成部分。

电力网络建模#

为了将EV的出行行为进一步纳入配电网络，本文采用线性化AC-OPF（linearized AC optimal power flow）建立电力网络模型，并由配电网运营商（DNO）在每个时间步进行电力系统运行优化。

作者采用线性化AC-OPF主要是为了在计算效率和模型精度之间取得平衡：相比非线性AC-OPF，可以降低后续MARL训练过程中的计算开销；相比DC-OPF，则能够保留更加准确的电力潮流信息，从而使EV得到更加真实的routing和scheduling反馈。

当EV (i) 停靠在对应的充电站，并根据自己的决策确定充电功率 (P^c*{i,t}) 或放电功率 (P^d*{i,t}) 后，DNO在每个时间步 (t) 求解线性化AC-OPF。

AC-OPF的目标函数为：

其中，(\Xi_{opf})表示AC-OPF中的全部决策变量：

目标函数主要包含三个部分：

• DG发电成本； 从主电网购电的成本； 向主电网出售剩余电能所获得的收益。

其中 (P^+{b,t}>0) 表示从主电网购电，(P^-{b,t}<0) 表示向主电网送电。

作者进一步对这些量取期望，以考虑电力需求、风电、光伏、线路故障以及交通流量等不确定因素。

首先需要满足配电网络中的有功功率平衡：

系统中所有发电、购电和EV放电提供的功率，要与负荷、EV充电以及向外送出的功率保持平衡。

对应的无功功率平衡为：

式（19）的对偶变量：

就是节点边际电价（Locational Marginal Price, LMP）。

节点与相邻线路之间的功率关系进一步表示为：

其中：

(P*{bp,t})：线路 (b-p) 上的有功潮流； (Q*{bp,t})：线路 (b-p) 上的无功潮流； (V^2*{b,t})：节点电压平方； (G*{bp},B_{bp})：线路参数。

进一步地，线路有功、无功潮流采用线性化形式：

其中 (P^{lo}{bp,t}) 和 (Q^{lo}{bp,t}) 为通过损耗因子线性化得到的有功、无功损耗。

节点电压需要满足上下限：

线路还要受到热容量限制：

DG的有功、无功出力分别受到上下限约束：

对于风电和光伏，还需要限制弃电量：

总结一下即电压不能越界、线路不能过载、发电机不能超出出力范围，同时风电和光伏的弃电也受到当前可用出力的约束。

配电网络还需要考虑与主电网之间的功率交换。

定义二进制变量：

其中：

(U*{b,t}=1)：从主电网购电； (U*{b,t}=0)：向主电网送电。

因此：

这组约束保证在一个时间步内，系统在主电网侧进行的是购电或售电中的一种状态。

EV的充放电功率是EV自己的决策，但这个决策会直接进入电力系统的功率平衡。

也就是说：

不是DNO替EV决定的，而是EV agent根据自己的策略决定之后，再作为电力网络优化的输入。

然后DNO根据所有EV的充放电行为以及其他电网资源，求解AC-OPF，得到整个配电网的运行状态和LMP，这个关系可以表述为：

这就是电力侧的核心耦合关系。

这里作者还处理了一个比较特殊的数学问题。

原始的 AC-OPF（17）–（33）包含二进制变量 (U_{b,t})，因此属于混合整数线性规划问题。由于强对偶性不能直接保证，原始问题不能直接得到对应的对偶变量，也就无法直接得到LMP。

作者因此采用两步方法：

第一步：

先求解原始MILP，得到二进制变量 (U_{b,t}) 的最优值。

第二步：

固定第一步获得的 (U_{b,t})，重新求解对应的连续优化问题，再得到：

即节点边际电价。

到这里，电力网络这一侧可以总结成：

再和前面的交通网络结合起来：

Routing→交通流量→行驶时间→交通能耗→SOC→Scheduling→AC-OPF→LMP

变量总结：

这些量共同构成了式（19）中的节点功率平衡和式（23）–（24）中的线路潮流模型。

式（25）限制节点电压，式（26）限制线路容量。

其中 (U_{b,t}) 通过式（31）–（33）控制系统处于购电还是售电状态。

精简版：

使用MARL的原因（传统方法遇到的挑战）#

直接做 model-based optimization会遇到三个问题。

第一个问题：信息和模型依赖

如果EV想直接根据前面的数学模型自己做最优决策，那么它得知道：

• 交通网络的数学模型； AC-OPF模型； 各种技术参数。

否则EV根本不知道该怎么计算。同时如果EV并不属于交通系统或者电力系统运营商，那么EV自己的约束并没有直接整合进交通网络和电力网络的运营优化模型中，导致系统运营者和私人EV之间存在信息和控制边界。

第二个问题：现实环境太不确定

就算我们已经知道完整的数学模型和参数，现实中的交通和电力系统仍然存在大量不确定因素，例如：

• traffic volumes price signals electric demand renewable energy output

问题在于：

很难精确得到这些随机变量的概率分布。

例如风电到底有多大，不仅跟模型有关，还和天气有关；交通流量又和驾驶行为有关。

所以很难事先写出一个“完美的概率模型”把现实世界描述得很准确。

第三个问题：算起来太慢

最后，即使你把这些全部建模了：

这个优化问题本身太复杂。

因为它同时具有：

• 时间耦合； 随机变量； 整数变量； 电力网络约束； 交通网络约束； EV自身约束。

所以随着问题规模增加，直接求整个优化问题会非常耗时。

作者认为这不适合要求快速响应的多服务决策。

既然传统模型驱动优化既依赖完整模型和信息，又难以准确描述现实中的不确定性，而且求解速度可能不够快，那么就让EV通过与环境交互自己学习决策策略。作者采用：

data-driven + model-free + MARL + decentralized decision-making

同时，作者强调这种方法能够避免EV之间以及EV与电力—交通网络之间进行过多的知识交换，从而保护隐私。

环境状态和本地观测#

论文定义：

把所有 EV 的局部观测集合起来，构成环境状态。

单辆 EV (i) 的观测是 8 维：

可以分成两半：

和

交通侧是：

分别对应：

当前所在/选择的道路信息； 这条路的交通流量； EV 正在前往的终止节点。

电力侧是：

即：

节点负荷； 可再生能源出力； 自己的 SOC； 电价； 碳强度信号。

这些信息可以使得EV基于此回答交通和电力侧的问题：

• 我下一步往哪个方向走？ 我现在应该充多少、放多少，以及提供多少上下调频/平衡服务？

行为#

论文定义：

四个动作：

其中路径动作：

例如：

在当前位置，根据交通网络拓扑，从当前节点可行的方向中选择下一步走向。

同时EV 不能在交通网络中行驶的同时，又在电力网络中提供辅助服务。

状态变化#

在时刻 (t)，所有 EV 做完动作以后，需要得到 (t+1) 时刻的新状态：

下一状态=f(当前状态,所有EV动作,环境随机性)

作者把状态变化分成两类

奖励函数#

作者给每辆 EV 的目标概括成四部分：

• 少花时间开车 少花钱充电 通过放电提供 demand management / carbon service 获得收益 通过 up-BS / down-BS 获得收益

具体公式是：

其中：

option层次化建模#

文章采用 option framework 对 HRL 进行层次化建模。一个 option 定义为：

其中：

(\mathcal I\subseteq\mathcal O)：initiation set，表示可以启动该 option 的 observation 集合； (\beta(m|o)\rightarrow[0,1])：termination function，给出在 observation (o) 下 option 终止的概率； (\pi(a|o))：intra-option policy，给出 option 执行期间的低层动作策略。

对于 agent (i) 在时间步 (t) 的上层决策，option 由 option policy (\mu) 选择：

在选定 (x*{i,t}) 后，agent 按照 intra-option policy (\pi) 连续执行低层动作 (a*{i,t})，直到由 termination policy 决定结束：

因此，一个 option 可以持续多个时间步，而不是只对应一个 primitive action。

对于 option 的状态转移，论文定义：

其中，(p(o*{i,t+1},f)) 表示当前 option 持续 (f) 个时间步后终止并到达 (o*{i,t+1}) 的概率。

若一个 option 从 (t) 时刻开始并持续 (f) 个时间步，则其累计折扣奖励定义为：

在本文中采用 call-and-return option execution model：agent (i) 在时间步 (t) 根据 (\mu) 选择 option (x_{i,t})，随后按照 (\pi) 执行动作，直到该 option 根据 (\beta) 终止，再重新选择下一个 option。

因此，agent 的轨迹由原来的

扩展为：

其轨迹空间为：

为了适应本文高维、连续的状态空间，作者进一步采用 actor–critic 架构，并使用深度神经网络对各函数进行参数化。

Actor

Option policy：

参数为 (\psi)，负责选择 option。

Intra-option policy：

参数为 (\phi)，负责在当前 option 下产生具体动作。

Termination policy：

参数为 (\varphi)，负责决定当前 option 是否终止。

Critic

定义 state-option value function：

参数为 (\theta)，用于估计在 observation (o) 下选择 option (x) 的期望价值。

因此，本文的层次化策略结构可以表示为：

同时由：

决定 (x_{i,t}) 何时终止，由：

评价该 option 的价值。

对于离散和连续动作指定决策#

当上层 option (x_{i,t}) 确定后，EV 根据 intra-option policy 生成具体动作：

由于 routing 与 scheduling 分别属于离散和连续动作空间，作者将动作划分为：

其中：

表示离散的 routing 动作；

表示连续的 scheduling 动作。

同时，将 observation 分为交通和电力两部分：

其中：

当选择 routing option 时，使用 (z_{i,t}) 产生离散动作：

离散 actor 使用 Softmax 输出各个离散动作的概率。

当选择 scheduling option 时，使用 (e_{i,t}) 产生连续动作：

连续 actor 输出 Gaussian distribution 的均值和方差，并从该分布中采样连续动作。

离散策略和连续策略分别使用 PPO 更新，其 clipped surrogate objectives 为：

其中，(\epsilon) 为 PPO 的 clipping 参数，用于限制新旧策略之间每次更新的幅度。

离散策略和连续策略分别使用对应的概率比：

其中：

(\zeta^d*{i,t})：离散 routing policy 的新旧策略概率比； (\zeta^c*{i,t})：连续 scheduling policy 的新旧策略概率比。

上层的 option policy (\mu*\psi(x|o)) 和 termination policy (\beta*\varphi(m|o)) 同样属于离散策略，因此可以采用与离散 intra-option policy 类似的 PPO 更新方式。

优势函数采用 generalized advantage function：

其中单步时序差分误差为：

也就是总的优势函数是每一步实际收益优于预期收益的累计。

由于 EV 只能获得局部观测，传统的：

可能无法充分描述系统状态，导致训练过程出现收敛问题。作者因此将其扩展为：

其中：

表示 EV (i) 接入母线对应的 LMP；若 EV 正在交通网络中行驶，则：

当前时刻的 (\lambda_i^{lmp}) 不能直接加入 actor 的 observation，因为它需要等 EV 执行动作后，由 DNO 求解 AC-OPF 才能得到。而在完成环境交互、获得经验之后，LMP 已经可以获得。

作者认为，LMP 不仅能够通过 AC-OPF 间接反映所有 EV 动作和系统状态对电网造成的影响，还能够反映 EV 当前是否处于电网连接状态。

参数共享框架#

本文采用 Parameter Sharing（PS） 框架，使所有同质 EV agent 使用共享的策略参数。由于各 EV 具有相同的 observation、option、action 和 reward 定义，因此可以利用所有 EV 的经验共同训练共享网络；执行时，各 EV 仍根据自身局部 observation 独立决策。

共享策略由四个 actor 网络组成：

其中：

• (\mu*\psi)：option policy； (\pi*{\phi^d})：离散 routing policy； (\pi*{\phi^c})：连续 scheduling policy； (\beta*\varphi)：termination policy。

训练过程中，各 EV 与环境交互得到 trajectory：

并将所有 EV 的经验发送至中央 EV aggregator。aggregator 根据这些 trajectory 计算 discounted reward-to-go：

并根据：

计算 advantage function。