 - jack)
Blog
代码：GitHub - JinjieNi/OpenMoE2: The official repo for "OpenMoE 2: Sparse Diffusion Language Models".
OpenMoE 2 是第一个 moe+diffusion language model (DLM) 的架构研究，并且会from scratch训一个完全开源的diffusion moe系列。
实际codebase：
GitHub - JinjieNi/MegaDLMs
moe+diffusion language model(DLM) - jack