ppo特点
在策略更新时，限制新旧策略差异，避免一步更新把策略推翻
这意味着：
- ppo 天然偏保守
- 一旦策略早期形成“错误偏好”，后续很难纠正
- 奖励设计和 early-stage 行为分布，决定成败
奖励函数
- 首先目标奖励要大、终局错误惩罚也需要大
- 每一步应该有小奖励/惩罚指导模型该前进的方向，但不要大过整体目标的奖励/惩罚；同时应鼓励探索或者绕路，这就应该设置随步数增长而衰减的奖励/惩罚
多阶段奖励函数
对于复杂问题的强化学习，可以先设置简单奖励函数训练模型，待模型学到简单规则后再修改奖励函数为更复杂的设计，让模型学到更精细化的动作
学习率
critic优化器的学习率要设置为明显小于actor优化器，actor的学习依赖于critic，如果critic不稳定会导致actor网络的震荡
可以参考以下学习率
actor_optimizer=torch.optim.Adam(actor_model.parameters(),lr=0.0005)critic_optimizer=torch.optim.Adam(critic_model.parameters(),lr=0.0001)网络训练
训练频率
多个episode之后再训练一次网络，单个episode之后训练网络有可能会出现方差大，导致训练不稳定，多个episode训练网络时将advantage也平均会更稳定
训练阶段
ppo比较通用，但收敛较慢，对于前期难训练或者想加快训练的任务，可以使用ddqn等收敛快的模型先训练前期阶段，后改为使用ppo继续训练
actor/critic网络
对输入网络的数据进行归一化很重要，可以平滑特征曲面，更容易优化，减少局部最优解的情况