多智能体强化学习算法分为 中心式和分散式
中心式的思想是考虑一个合作式的环境，直接将单智能体算法扩展，让其直接学习一个联合动作的输出，但是并不好给出单个智能体该如何进行决策。
分散式是每个智能体独立学习自己的奖励函数，对于每个智能体来说，其它智能体就是环境的一部分，因此往往需要去考虑环境的非平稳态，并且分散式学习到的并不是全局的策略。
最近的一些工作提出了两种框架连接中心式和分散式这两种极端方法，从而得到折衷的办法：中心式训练分散式执行（centealized training and decentralized execuation,CTDE)和值分解（value decomposition,VD)