论文名称：《Generative adversarial imitation learning》
附上github链接：https://github.com/openai/imitation
大概步骤如下
git clone https://github.com/openai/imitation.git
2.安装依赖git上提出了以下的依赖要求
OpenAI Gym >= 0.1.0, mujoco_py >= 0.4.0
numpy >= 1.10.4, scipy >= 0.17.0, theano >= 0.8.2
h5py, pytables, pandas, matplotlib
其实直接跑scripts/im_pipeline.py文件也可以，不通过的部分会报错，比如No module named h5py，对应的解决措施就是
sudo apt-get install libhdf5-dev
sudo apt-get install python-h5py
类似的，可以用sudo apt-get install python-yaml安装yaml依赖
对于OpenAI Gym，pytables，theano等我是使用pip install的指令进行安装的，例如
pip install gym
pip install tables
其中theano的安装过程网上有详细教程，参考链接
http://deeplearning.net/software/theano/install_ubuntu.html
mujoco是一个非开源的仿真软件，但是要下载并使用它也是非常方便的，在你安装完相关的依赖，运行程序的时候，会发现仍有报错提示，关于mujoco的，访问他提供的网址，下载相应版本的mujoco并解压缩。接下来还有个步骤非常关键，因为不是免费开源的，需要申请key。访问网址https://www.roboti.us/license.html，填上姓名和邮箱地址，并下载它提供的文件到本地，我是linux系统，用chmod +x getid_linux加上执行权限，执行获得本机的id，注意每个电脑对应的id都是不一样的，这直接关系到你后面申请到的key是否有效。
填上id提交以后，会收到邮件，把mjkey.txt移动到mujoco的sdhs文件下，并在.bashrc中填写下列命令
export MUJOCO_PY_MJKEY_PATH=/home/username/imitation/mujoco/mjpro131/sdhs/mjkey.txt
export MUJOCO_PY_MJPRO_PATH=/username/imitation/mujoco/mjpro131
至此，仿真软件安装完毕了。
4.生成训练数据做完上面几个步骤，应该是可以运行im_pipeline.py文件了，注意要在主目录下面运行
python ./scripts/im_pipeline.py ./pipelines/im_pipeline.yaml 0_sampletrajs
im_pipeline.yaml是参数文件，对应usage中的spec，当然作者也提供了其它几个spec，自选，后面的0_sampletrajs代表从expert data中进行采样，用于我们后面的训练。
如果这一步有问题，那么说明前面的安装还存在问题。
如果出现no module named policyopt的问题，那么你需要将当前的imitation文件夹这个目录添加到python路径中。
方法一：
在报错的py文件中
import sys
sys.path.append(“path/to/your/code”)
方法二：
在.bashrc文件中添加
export PYTHONPATH=/path/to/your/code:$PYTHONPATH
相对而言，方法二更方便一点，别忘了source一下
PBS全称是Portable Batch System，最初由NASA的Ames研究中心开发，为了提供一个能满足异构计算网络需要的软件包，特别是满足高性能计算的需要。
这里用到PBS原因很简单，有那么多的environments，还要比较不同的algorithms，训练时还对num_of_trajs进行了限制，他们的组合是乘法关系，我们会得到一系列的训练任务，一个个去敲打命令无疑很麻烦，用批处理系统就很省事（-。-其实我在搞懂pbs的时候也非常费力，说不定还不如一个个去训练。）
5.1安装
sudo apt-get install torque-mom torque-server torque-client torque-scheduler
5.2节点配置
host $HOSTNAME
查看自己的hostname，需要修改/etc/hosts这个文件，可以改成下面的形式，server命名为Node1
127.0.0.1 Node1 localhost
#127.0.1.1 Node1
sudo echo $HOSTNAME > /etc/torque/server_name
sudo echo $HOSTNAME > /var/spool/torque/server_name
sudo pbs_server -t create
sudo echo $HOSTNAME np=grep proc /proc/cpuinfo | wc -l > /var/spool/torque/server_priv/nodes
然后，在root权限下启动相应的进程
sudo qterm
sudo pbs_server
sudo pbs_mom
如果运行中出现什么问题，ps一下，kill所有pbs带头的进程，然后重新开启运行。
ps aux | grep pbs
参考链接：https://www.douban.com/note/239136237/
http://blog.sina.com.cn/s/blog_4a0a8b5d0102v2p1.html
5.3队列配置
这一部分非常关键，前面仅仅是启动了队列，但是使用怎样的队列还需要我们自己根据程序需要进行配置
#命名队列为batch
qmgr -c “create queue batch queue_type=execution”
qmgr -c “set queue batch resources_default.walltime = 72:00:00”
qmgr -c “set server query_other_jobs = True”
#资源配置
qmgr -c “set queue batch resources_max.ncpus=6”
qmgr -c “set queue batch enabled = True”
qmgr -c “set queue batch started = True”
qmgr -c ‘set server default_queue = batch’
#默认队列设置
qmgr -c “set queue batch resources_default.neednodes=Node1”
#自动调度，没有这句话作业提交以后不会运行，始终处于排队状态
qmgr -c “set server scheduling = True“
按照这个步骤，我们的pbs部分配置也完成了，如果有任何问题可以参考5.2中两个网址，以及这个链接提供pbs很多命令的用法http://blog.sina.com.cn/s/blog_48d42f430100s7u3.html
5.4补充
python ./scripts/im_pipeline.py ./pipelines/im_pipeline.yaml 1_train
如果这时候我们执行这条命令，还是会有些问题，我们需要对源代码进行修改
对im_pipeline.py中#PBS -e /dev/null后面增加#PBS -V，不然还是会出现无法import environments或者policyopt等问题，就是把一些环境变量都加进去
no feasible node
如果没有可行的节点，那么说明你配置的资源出现问题，去看看最开始的server的设置，确保你能提供相应的处理器以及内存等
此外，im_pipeline.yaml中100行的queue名称也需要更改，默认的是atlas，而我使用默认的队列名为batch，两者要一致
6.训练及评估python ./scripts/im_pipeline.py ./pipelines/im_pipeline.yaml 1_train
python ./scripts/im_pipeline.py ./pipelines/im_pipeline.yaml 2_eval