强化学习入门项目spinning up（1）安装

0.前言

好久之前就看到很多人推荐学习spinning up，无奈自己电脑只有win系统。最近终于在实验室的新机器上装好了双系统，于是最近打算进行spinning up的系列学习。

整个项目包括以下内容：

• 对 RL 术语、算法种类和基础理论的简短介绍。
• 一篇关于如何成长为 RL 研究角色的文章。
• 按主题组织的重要论文的精选列表。
• 一个有据可查的代码库，包含关键算法的简短、独立的实现，以及一些作为热身的练习。

本篇文章主要记录spinning up的安装过程。

差点忘记分享spinning up的链接了。
中文文档链接：https://spinningup.qiwihui.com/zh_CN/latest/index.html
英文文档链接：https://spinningup.openai.com/en/latest/index.html
github地址：https://github.com/openai/spinningup

安装的过程主要是下图的五个部分。

1.安装python

这部分我们按照文档说明安装，首先我们需要有anaconda，这个python包管理软件我相信大家都熟悉，就不多说了。

通过下方命令创建名为spinningup的一个新环境

conda create -n spinningup python=3.6

要在刚创建的环境中使用Python，可以通过下面的命令激活环境：

conda activate spinningup

2.安装 OpenMPI

OpenMPI作用：为了实现RL并行 (采样和网络更新等)

sudo apt-get update && sudo apt-get install libopenmpi-dev

3.安装 Spinning up

git clone https://github.com/openai/spinningup.git

cd spinningup

pip install -e .

有可能你会遇到下面的报错：

也就是mpi4py安装失败
参考：https://blog.csdn.net/CAIYUNFREEDOM/article/details/121750296
使用conda install mpi4py对其单独安装

然后再次执行一遍

pip install -e .

可以看到没有报错了。

4.检查安装成功与否

python -m spinup.run ppo --hid "[32,32]" --env LunarLander-v2 --exp_name installtest --gamma 0.999

训练过程：

训练完毕：

训练结束后，观看有关训练过的策略的视频：

python -m spinup.run test_policy data/installtest/installtest_s0

绘制训练曲线：

python -m spinup.run plot data/installtest/installtest_s0

5.安装 MuJoCo（可选）

这里先不安装，如果想要安装可以参考官方文档进行。