117.DDPM核心原理精讲｜前向加噪、反向去噪与ELBO损失函数完整推导

摘要

扩散模型（Diffusion Models）是当前生成式AI领域最前沿的技术之一，在图像生成、音频合成、分子设计等任务中展现出超越GAN和VAE的性能。本文从数学原理出发，系统讲解扩散模型的前向加噪过程与反向去噪过程，推导变分下界（ELBO）的简化形式，并给出一个完整的、可运行的PyTorch实现。文章涵盖训练细节、采样技巧、常见陷阱与解决方案，帮助读者从理论到实践全面掌握扩散模型。

应用场景

扩散模型目前广泛应用于以下领域：

1. 图像生成：如DALL-E 2、Stable Diffusion、Imagen等主流文生图模型均基于扩散架构。
2. 图像编辑与修复：通过引导采样实现图像修补、超分辨率、风格迁移。
3. 音频生成：WaveGrad、DiffWave等模型用于语音合成和音乐生成。
4. 分子与材料设计：生成具有特定化学性质的分子结构。
5. 时序数据预测：在金融、气象等领域生成未来序列。

核心原理

扩散模型包含两个核心过程：

1. 前向过程（加噪）

给定原始数据分布 ( q(x_0) )，我们定义一个马尔可夫链，逐步向数据添加高斯噪声。经过T步后，数据近似变为标准正态分布。

前向过程定义为：

[ q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1 - \beta_t} x_{t-1}, \beta_t I) ]

其中 (\be