【强化学习笔记】强化学习中的常见符号

符号	符号释义
$\doteq$	定义符号
$\approx$	约等于
$ϵ$	$ϵ$贪心策略中随机采取动作的概率
$\gamma$	折扣系数
$\lambda$	迹中的衰减率
$\leftarrow$	赋值符号
$s$, $s^{\prime }$	状态 $s$
$a$	动作 $a$
$r$	收益 $r$
$t$	离散的时间步，或称为时刻
$\pi$	策略（决策规则）
$\pi (s)$	根据确定性策略$\pi$ 在状态 $s$ 时选取的动作
$\pi (a|s)$	根据随机性策略$\pi$ 在状态 $s$ 时选取的动作 $a$ 的概率
$A_t$	$t$ 时刻的动作
$S_t$	$t$ 时刻的状态，通常由 $S_{t-1}$ 和 $A_{t-1}$ 随机决定
$R_t$	$t$ 时刻的收益，通常由 $S_{t-1}$ 和 $A_{t-1}$ 随机决定
$G_t$	$t$ 时刻的回报（是个期望值）
$p(s^{\prime },r|s,a)$	从状态 $s$ 采取动作 $a$ 转移到状态 $s^{\prime }$ 并获得收益 $r$ 的概率
$p(s^{\prime }|s,a)$	从状态 $s$ 采取动作 $a$ 转移到状态 $s^{\prime }$ 的概率
$r(s,a)$	从状态 $s$ 采取动作 $a$ 获得的即时收益的期望
$r(s,a,s^{\prime })$	从状态 $s$ 采取动作 $a$ 转移到状态 $s^{\prime }$ 获得的即时收益的期望
$v_{\pi }(s)$	状态 $s$ 在策略 $\pi$ 下的价值（期望回报）
$v_{\ast }(s)$	状态 $s$ 在最优策略下的价值
$q_{\pi }(s,a)$	状态 $s$ 在策略 $\pi$ 下采取动作 $a$ 的价值
$q_{\ast }(s,a)$	状态 $s$ 在最优策略下采取动作 $a$ 的价值
$V$, $V_t$	状态价值函数
$Q$, $Q_t$	动作价值函数