强化学习——策略梯度理解点

策略梯度计算公式

目的是最大化reward函数，即调整 θ ，使得期望回报最大，可以用公式表示如下
$$\mathrm{J}(\theta )={\mathrm{E}}_{\tau \sim p}(\mathcal{T})\left[\sum _{\mathrm{t}}\mathrm{r}\left({\mathrm{s}}_t,{\mathrm{a}}_{\mathrm{t}}\right)\right]$$
对于上面的式子， $\tau$ 表示从从开始到结束的一条完整路径。通常，对于最大化问题，我们可以使用梯度上升算法来找到最大值，即
$${\theta }^{\ast }=\theta +\alpha \nabla \mathrm{J}(\theta )$$
所以我们仅仅需要计算 (更新) $\nabla J(\theta )$ ，也就是计算回报函数 $J(\theta )$ 关于 $\theta$ 的梯度，也就是策略梯度，计算方法如下:
$$\begin{array}{rl}{\nabla }_{\theta }\mathrm{J}(\theta )& =\int {\nabla }_{\theta {\mathrm{p}}_{\theta }}(\tau )\mathrm{r}(\tau ){\mathrm{d}}_{\tau }\\ & =\int {\mathrm{p}}_{\theta }{\nabla }_{\theta }\log {\mathrm{p}}_{\theta }(\tau )\mathrm{r}(\tau ){\mathrm{d}}_{\tau }\\ & ={\mathrm{E}}_{\tau \sim \mathrm{p}\theta (\tau )}\left[{\nabla }_{\theta }\log {\mathrm{p}}_{\theta }(\tau )\mathrm{r}(\tau )\right]\end{array}$$
接着我们继续讲上式展开，对于 ${\mathrm{p}}_{\theta }(\tau )$ ，即 ${\mathrm{p}}_{\theta }(\tau \mid \theta )$ :
$${\mathrm{p}}_{\theta }(\tau \mid \theta )=\mathrm{p}\left({\mathrm{s}}_1\right)\prod _{t=1}^{\mathrm{T}}{\pi }_{\theta }\left({\mathrm{a}}_t\mid {\mathrm{s}}_{\mathrm{t}}\right)\mathrm{p}\left({\mathrm{s}}_{t+1}\mid {\mathrm{s}}_t,{\mathrm{a}}_{\mathrm{t}}\right)$$
取对数后为：
$$\log p_{\theta }(\tau \mid \theta )=\log p\left(s_1\right)+\sum _{t=1}^T\log {\pi }_{\theta }\left(a_t\mid s_t\right)p\left(s_{t+1}\mid s_t,a_t\right)$$
继续求导:
$$\nabla \log p_{\theta }(\tau \mid \theta )=\sum _{t=1}^T{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)$$
带入第三个式子，可以将其化简为:
$$\begin{array}{rl}{\nabla }_{\theta }\mathrm{J}(\theta )& ={\mathrm{E}}_{\tau \sim p\theta (\tau )}\left[{\nabla }_{\theta }\log {\mathrm{p}}_{\theta }(\tau )\mathrm{r}(\tau )\right]\\ & ={\mathrm{E}}_{\tau \sim p\theta }\left[\left({\nabla }_{\theta }\log {\pi }_{\theta }\left({\mathrm{a}}_{\mathrm{t}}\mid {\mathrm{s}}_{\mathrm{t}}\right)\right)\left(\sum _{\mathrm{t}=1}^{\mathrm{T}}\mathrm{r}\left({\mathrm{s}}_{\mathrm{t}},{\mathrm{a}}_{\mathrm{t}}\right)\right)\right]\\ & =\frac{1}{N}\sum _{\mathrm{i}=1}^{\mathrm{N}}\left[\left(\sum _{\mathrm{t}=1}^{\mathrm{T}}{\nabla }_{\theta }\log {\pi }_{\theta }\left({\mathrm{a}}_{\mathrm{i},\mathrm{t}}\mid {\mathrm{s}}_{\mathrm{i},\mathrm{t}}\right)\right)\left(\sum _{\mathrm{t}=1}^{\mathrm{N}}\mathrm{r}\left({\mathrm{s}}_{\mathrm{i},\mathrm{t}},{\mathrm{a}}_{\mathrm{i},\mathrm{t}}\right)\right)\right]\end{array}$$

重要性重采样

使用另外一种数据分布，来逼近所求分布的一种方法，算是一种期望修正的方法，公式是:
$$\begin{array}{rl}\int \mathrm{f}(\mathrm{x})\mathrm{p}(\mathrm{x})\mathrm{dx}& =\int \mathrm{f}(\mathrm{x})\frac{\mathrm{p}(\mathrm{x})}{\mathrm{q}(\mathrm{x})}\mathrm{q}(\mathrm{x})\mathrm{dx}\\ & ={\mathrm{E}}_{\mathrm{x}\sim \mathrm{q}}\left[\mathrm{f}(\mathrm{x})\frac{\mathrm{p}(\mathrm{x})}{\mathrm{q}(\mathrm{x})}\right]\\ & ={\mathrm{E}}_{\mathrm{x}\sim \mathrm{p}}[\mathrm{f}(\mathrm{x})]\end{array}$$
在已知 $q$ 的分布后，可以使用上述公式计算出从 p 分布的期望值。也就可以使用 $q$ 来对于 p 进行采样了，即为重要性采样。