强化学习2

1. 马尔可夫过程（MP) 马尔可夫奖励过程（MRP）

2. 只取决于现在 ：马尔可夫

3. Horizon:一个回合的长度（每个回合最大的时间步数）由有限个步数决定

4. Return：（回报）奖励的逐步叠加

5. 需要折扣因子的原因：有些马尔可夫过程带环，没有终结（避免无穷）
   把这个不确定性表示出来，希望尽可能得到模型，而不是在未来某一点得到奖励
   希望立即达到奖励

6. 超参数：Discount factor

7. 贝尔曼方程

8. 蒙特卡曼

9. 动态规划：当最后更新状态跟上次状态差别不大的时候停止（Bootstrapping)

10. .断续器

11. 状态-价值函数