- DDPM (Denoising Diffusion Probabilistic Models) —— 概率流的单线传话
🧱 核心底层逻辑：马尔可夫链的微扰
DDPM 的本质是：利用一连串极小的条件高斯分布，去逼近一个复杂的、无法直接求解的图像生成分布。它包含一个将图片变模糊的“前向过程”和一个将噪声变清晰的“反向过程”。
📥 详细的前向过程（Forward Process）
前向过程不含任何需要训练的参数。我们人为设定一个噪声调度表（Noise Schedule）：
（通常
，
从
线性或余弦递增到
）。
定义
。
- 单步迭代加噪
给定清晰图片
，每一步在前一步的基础上加上一点高斯噪声：
其中
。
- 重大数学技巧：“一步到位”推导
为了在训练时不需要从
循环迭代到
，我们利用高斯分布的独立可加性进行展开：
把代入进去：
因为两个独立高斯分布相加：
，后面两项可以融合成一个新的高斯分布。
最终推导出了著名的重参数化一键加噪公式：
其中
（所有
的累乘）。
是一整个总的高斯噪声。
数据维度 (Shape)：
都是 [Batch, C, H, W]。
📉 神经网络结构与 Loss 终极推导
- U-Net 内部细节
输入：脏图
[B, C, H, W] 和当前的时间步
（标量）。
时间嵌入 (Time Embedding)：时间步
会通过 Transformer 同款的正弦/余弦位置编码（Sinusoidal Position Embedding）变成一个一维向量，然后再通过两层多层感知机（MLP）映射到固定的维度（如 512 维）。
特征注入：在 U-Net 的每一个 Downsample/Upsample 的 Residual Block 中，这个时间向量会通过 Linear 层变换成 Scale 和 Shift 参数，通过类 AdaIN（自适应层归一化）的方式强行注入到图像特征中，指导网络：“现在是第几步去噪”。 - Loss 函数的数学精简
DDPM 的原始数学目标是最大化变分下界（VLB）。经过复杂的 KL 散度推导后，科学家发现它在数学上等价于：让网络去预测前向公式里那个真正的随机噪声
。
代码视角的 Loss：
Loss = MSE_Loss(true_noise, network(x_t, t))。简练、优雅、稳定。
📤 DDPM 完整的采样生成算法（Inference）
推理是从纯噪声
倒数到
。因为去噪方差被设为了固定常数
（或
），网络需要计算均值并扣除噪声。
- 核心数学回退公式
均值部分
核心去噪项：从现在的脏图
中减去放大了一定比例的垃圾噪声
，把图里的噪声硬生生扣掉。
缩放恢复项：除以
，把前向压缩的像素数值整体等比例放大恢复。
灵魂抖动项：
（
），每一步算完均值后重新洒上一撮微小的随机噪声，增加生成的多样性（当
时
）。
2. 采样伪代码流程
DDPM 推理算法流程
x = sample_standard_noise([Batch, C, H, W]) # 步骤 0：纯噪声出生
for t in range(1000, 0, -1): # 从 1000 倒数到 1
# 1. 网络看一眼当前的图，猜出里面藏了多少噪声
predicted_noise = network(x, t)
# 2. 如果 t > 1，采样一个全新的随机高斯噪声作为“灵魂抖动”；t = 1 时 z = 0 z = sample_standard_noise([Batch, C, H, W]) if t > 1 else 0 # 3. DDPM 核心单步回退计算 alpha = 1 - beta[t] alpha_bar = alpha_bar_schedule[t] # 计算均值部分 (对应去噪与缩放) noise_scale = beta[t] / sqrt(1 - alpha_bar) x_mean = (1 / sqrt(alpha)) * (x - noise_scale * predicted_noise) # 最终更新：均值 + 随机方差抖动 x = x_mean + sqrt(beta[t]) * z- DDIM (Denoising Diffusion Implicit Models) —— 确定性的非马尔可夫跳跃
🧱 核心底层革命：打破“必须看前一步”的魔咒
DDPM 慢在反向分布
必须小步挪动。DDIM 的作者做了一个非常天才的数学证明：
前向加噪的一键到位概率
保持不变（这意味着 DDPM 训练出来的 U-Net 可以完全不改，直接拿来用）。但是，我们可以把反向条件概率修改为同时依赖
和最初的原图
：
。
因为引进了
，去噪轨迹变成了一条隐式的确定性通道，不再局限于马尔可夫链的单线传话。
📥 核心操作细节：隔空反推与重新勾兑
我们在任意指定的第
步采样时，手里只有当前图
和网络预测的噪声
。
第一步：隔空反推“临时原图”
既然
，我们把公式移项，用 AI 预测的噪声直接反推出原图的估计值：第二步：重新勾兑出第
步（或任意想跳到的前一步
）
现在我们手里有
（纯原图成分）和
（指向噪声成分的方向）。DDIM 重新写出了通往任意前一步的配方公式：
是关键阀门。当
时，此公式完全等价于 DDPM。
当
时（DDIM 核心模式），后面的随机抖动
直接清零！用当前预测的噪声方向直接顶替（鸠占鹊巢）了下一步的噪声方向，仅仅通过公式系数来调整噪声的分量权重。
📤 DDIM 的跳步采样算法（Sub-sampling）
因为公式支持跨步，我们不需要走完 1000 步。我们可以自己定义一个子序列，比如 [1000, 950, 900, …, 50]，总共只走 20 步。
以下是
（完全确定性流）下的 DDIM 采样伪代码：
DDIM 极速确定性采样算法
x = sample_standard_noise([Batch, C, H, W]) # 步骤 0：由初始随机种子固定的一堆沙子
自定义跳步序列，例如从 1000 开始，每步跨 50 直至 0
time_steps = [1000, 950, 900, 850, …, 50, 0]
for i in range(len(time_steps) - 1):
t = time_steps[i]
t_next = time_steps[i+1] # 想要一步跨到的下一个稍微清爽一点的台阶
alpha_bar_t = alpha_bar_schedule[t] alpha_bar_next = alpha_bar_schedule[t_next] # 1. 喂给 DDPM 训练好的网络，拿到当前步的预测噪声 pred_noise = network(x, t) # 2. 核心数学解构：隔空脑补原图 x0_hat x0_hat = (x - sqrt(1 - alpha_bar_t) * pred_noise) / sqrt(alpha_bar_t) # 3. 核心数学重构：利用 t_next 的配方比例，强行重新勾兑出下一幅图 # 此时预测噪声直接“鸠占鹊巢”，充当了 t_next 步的噪声分量 pred_dir_x = sqrt(1 - alpha_bar_next) * pred_noise x = sqrt(alpha_bar_next) * x0_hat + pred_dir_x # 零随机性，轨迹完全固定💾 扩散两大大门派全细节对比备忘
维度 DDPM (概率单线流) DDIM (隐式确定流)
训练过程 正常加噪训练（一键加噪法） 完全不需要训练！直接抢 DDPM 的模型来跑
反向轨迹依赖 马尔可夫链（
必须死绑在
上） 非马尔可夫链（通过估算
强行打通时空跨度）
采样步数 固定 1000 步左右，无法跳跃 自定义子序列（20~50 步即可极速成画）
随机项系数
固定常数（每一步回退都故意加上高斯抖动） 设为 0（彻底抹除随机性，变为确定性 ODE 轨迹）
输入相同噪声的结果 每次生成的图片由于一路上都在随机抖动，完全不同 生成的图片百分之百唯一确定，路径被死死锁死
3. 分数匹配 (Score Matching) —— 引力场与能量模型的救赎
🧱 核心痛点与数学破局
早期的生成模型喜欢研究“概率密度函数”
。但要让一个函数在数学上合法，它的总概率积分必须等于 1。这就强制在分母上加一个归一化常数（配分函数）
：
其中
在高维图片空间里，这个积分根本算不出来。
分数匹配的降维打击：科学家对概率函数取对数，再对图片
求导。这个导数
被定义为“分数（Score）”。
因为
里面不含
，求导后直接变成 0 消失了！从此摆脱了分母的诅咒。
📥 详细的前向与训练细节（Denoising Score Matching）
由于真实图片分布
是离散的样本点，无法直接求导。我们使用去噪分数匹配（DSM），人为制造连续分布。
- 前向过程（数据搞破坏）
给定一张清晰的 [C, H, W] 图片
，我们从噪声池中随机选一个标准差
。然后采样一个标准高斯噪声
。
将它们混合得到脏图
：
此时，条件概率分布
是一个以
为均值、
为方差的完美高斯分布：
- 上帝视角标准答案的推导
我们对这个已知的高斯分布求条件分数（对
求导）：
因为
，所以代入得到：
这就是上帝视角的标准答案！它在空间上的维度是 [C, H, W]，本质就是加进去的噪声取反，再除以标准差。
- 神经网络结构与 Loss 计算
网络输入：脏图
[Batch, C, H, W] 和当前的噪声标量
。
网络结构：通常是一个带有时间/噪声嵌入（Noise Embedding）的 U-Net。
会通过正弦位置编码（Sinusoidal Embedding）转成向量，像魔术棒一样注入到 U-Net 的每一个残差块中，用来提醒网络：“你现在面对的是哪个级别的迷雾”。
损失函数（包含所有系数的真实公式）：
(通常设置权重平衡系数
，Loss 公式可以进一步简化为：
，这就和 DDPM 的预测噪声形式在数学上完全等价了！)
📤 详细的推理/生成细节（Langevin Dynamics）
训练完成后，神经网络
变成了一个全能指南针。我们从纯高斯噪声
开始，使用退火朗之万动力学（Annealed Langevin Dynamics）倒数生成。
假设我们从噪声最大级别
逐步降低到最小级别
，在每个噪声级别下迭代
步：
伪代码级详细算法流
x = sample_pure_noise([C, H, W]) # 步骤 0：随机出生
for sigma in [sigma_1, sigma_2, …, sigma_L]: # 从大噪到小噪
step_size = epsilon_step * (sigma / sigma_L)**2 # 根据当前噪声动态调整步长
for m in range(M): # 在当前迷雾级别下修正 M 步
# 1. 网络观测，输出引力场（Shape: [C, H, W]）
score = network(x, sigma)
# 2. 采样一撮全新的微弱高斯噪声，用于注入灵魂（Shape: [C, H, W]） z = sample_standard_noise([C, H, W]) # 3. 朗之万核心更新公式 # 确定性降噪项：顺着引力走；随机探索项：揉入微小随机沙子防止死板 x = x + 0.5 * step_size * score + sqrt(step_size) * z当两层循环结束，图片小球就顺着平滑的概率山坡，稳稳地停在了真实图片的聚集地
。
- 流匹配 (Flow Matching) —— 速度场的终极艺术
🧱 核心痛点与数学破局
扩散模型和分数匹配都在和“高斯分布”死磕，导致粒子在空间中移动的轨迹是一条极其弯曲的几何曲线。
流匹配的降维打击：抛弃复杂的概率图层演变，直接回归经典的连续介质力学（Continuity Equation）。我们直接定义一个时间
，定义一个生成速度场（Vector Field）
。AI 的目标不是预测噪声，也不是预测斜坡，而是精准预测像素点在时间
时的移动速度向量。
📥 详细的前向与训练细节（Conditional Flow Matching）
- 前向过程（最优传输直线插值）
流匹配最强悍的形态是最优传输流匹配（OT-Flow Matching）。
给定真实图片
[C, H, W] 和纯高斯噪声
[C, H, W]。注意，这里的流向是从
（0时刻）直线传送到
（1时刻）。
我们定义任意中间时间
的直路线为：
这在数学上对应了一个精确的条件概率路径：
- 上帝视角真实速度的推导
根据常微分方程（ODE）的定义，速度是位移对时间的导数。我们直接对上面的直线公式关于
求导：
看清楚这个惊天细节了吗？！ 真实的条件速度
是一个常数，与时间
毫无关系！ 它就是一个死死指向终点的横截面直线向量 [C, H, W]。
- 神经网络结构与 Loss 计算
网络输入：混合糊图
[Batch, C, H, W] 和时间标量
。
网络结构：现代流匹配通常采用 Diffusion Transformer (DiT) 架构（如 SD3 和 Flux）。它把图片切成 Patch 变成 Token，把时间
做 Embedding 后作为 Modulation 信号去控制 Transformer Block 里的 LayerNorm 层，非常适合学习直线的长距离依赖。
损失函数（Flow Matching 真实核心公式）：
(大白话：AI 看着
时刻的混淆图
，拼命去猜测那个由上帝手工拔河拉出来的直线速度
。)
📤 详细的推理/生成细节（ODE Vector Field Sampling）
生成阶段，时间反向流动，我们从
（纯噪声
）出发，一滴随机沙子都不加，使用纯确定性的常微分方程求解器（ODE Solver）直接向
踩油门。
由于轨迹被大幅度拉直，我们可以使用最直观的欧拉法（Euler Method），只需要极少的步数（例如
步）：
欧拉法极速生成流算法
x = sample_pure_noise([C, H, W]) # 从 t = 1.0 的噪声海出生
N = 10 # 总步数
dt = 1.0 / N # 每一步的时间跨度
for step in range(N):
# 1. 计算当前所处的时间点（从 1.0 倒扣到 0.0）
t_current = 1.0 - step * dt
# 2. 喂给 DiT 速度网络，求得当前位置的宏观速度场（Shape: [C, H, W]） # 刚出发时，网络预测的是“所有猫的平均速度”；随着走动，速度会坍缩聚焦向某一只具体的猫 pred_velocity = network(x, t_current) # 3. 顺着速度方向笔直向前滑行（因为反向，所以是减法） x = x - dt * pred_velocity🔍 为什么它能做到 4~10 步成画的终极秘密？
你之前提到的直觉非常致命：“随着不断的走，速度方向越来越倾向到具体的某一个
上”。
在数学上，如果模型训练完后，我们使用 Rectified Flow（流直化）：
第一次生成的配对是
。我们用这组已经配对好、终点完全锁定的数据重新算 Loss 训练一次。
这时候，在
的荒漠起点上，速度向量场不再是模糊的“合力”，而是从一开始就被彻底掰直、精准指向那只特定黑猫的完美直线。既然路线变成了真正的几何直线，欧拉法开车的步长 dt 就可以设得极大（比如 0.25，走 4 步），小球也能瞬间精准漂移进
的终点站。
💾 三大门派硬核全量对比表
维度 DDPM (概率门派) Score Matching (分数门派) Flow Matching (流匹配门派)
网络核心输出 噪声矩阵
分数向量
速度向量
前向插值轨迹
(纯直线)
标准答案 (Target) 随机高斯噪声
条件分数
条件速度
(时空常数)
推理数学本质 随机马尔可夫链采样 朗之万动力学随机随机微分 (SDE) 确定性常微分方程流 (ODE)
商业大模型代表 Stable Diffusion 1.5 / 2.1 早期 SMLD / 理论奠基 Stable Diffusion 3 / Flux / Sora
5. VAE (Variational Autoencoder) —— 隐空间的降维与正则化
🧱 核心底层逻辑：克服算力黑洞与数据编织
在像素空间（如
）直接训练扩散模型需要处理接近 80 万个数字，显存极易炸裂。VAE 的本质就是一个高级的特征压缩器。
普通的自编码器（AE）只管压缩和还原，导致隐空间（Latent Space）四分五裂。如果扩散模型在没有规律的隐空间里洒沙子，反向去噪时就会彻底迷路。
VAE 巧妙地解决了这个问题：它不把图片压缩成一个死板的固定向量，而是压缩成一个“连续的概率分布（均值
和方差
）”。并通过引入 KL 散度，强行将整个隐空间塑造成规整的、服从标准高斯分布的“绿洲”。
📥 详细的训练细节（Training）
- 前向重参数化压缩（Encoding）
给定一张清晰像素图像
。
特征提取：通过 Encoder 网络的密集卷积层，将空间尺寸缩小 8 倍，通道数增加，输出两个同尺寸的特征矩阵：均值
和 方差对数
，尺寸均为 [4, 64, 64]。
重参数化魔术 (Reparameterization Trick)：为了从该分布中采样出隐向量
且保证梯度可导，引入独立随机噪声
。
此时，随机性被剥离到了
身上，
和
保持可导，隐向量
[4, 64, 64] 成功诞生。
后向重构（Decoding）
将
输入 Decoder 网络，通过多层转置卷积反向放大，重新拼凑出像素图像
。工业级全量损失函数（Loss 推导）
现代大模型（如 Stable Diffusion）用的 VAE 引入了四项联合拔河的 Loss（通常称为 VQ-GAN 风格的 VAE），来彻底解决传统 VAE 还原图片模糊（磨皮）的致命缺陷：
(像素级重构误差)：计算
和
的 L1/L2 距离。约束大体轮廓、颜色别跑偏。
(KL 散度正则项)：衡量当前分布
与标准高斯分布
的距离。强迫隐空间靠拢标准高斯分布，公式为：
(感知损失 Perceptual Loss)：将
和
丢进预训练好的分类网络（如 VGG），提取中间层高频纹理特征并计算 MSE。从人类视觉肉眼层面迫使边缘和线条变锐利。
(对抗损失 Adversarial Loss)：引入一个 GAN 判别器
，判别器拼命挑刺看
哪里像假图，VAE 为了骗过
只能疯狂内卷，逼出最真实的局部皮肤毛孔、发丝等超高频真实细节。
📤 详细的推理细节（Inference）
在整体大模型生成流水线中，VAE 推理只在最开头（若图像图生成）或最结尾（文生图大功告成时）调用。
纯文生图时：扩散模型直接在隐空间里画好了一个完全去噪的纯净潜在向量
[4, 64, 64]。
VAE 推理操作：直接将
塞进训练好的 VAE Decoder 中。
解码器瞬间施展反向放大魔术，将 [4, 64, 64] 升维释放，吐出 [3, 512, 512] 让人类肉眼极度震撼的高清画作。
- LDM (Latent Diffusion Models) —— 隐空间里的扩散风暴
🧱 核心底层逻辑：战场的时空转移
潜在扩散模型（LDM）将扩散模型的战场，从广袤、充满冗余像素的“像素空间”彻底搬到了 VAE 压缩好的规整“隐空间（Latent Space）”里。
📥 详细的训练细节（Training）
- 前向潜在加噪
准备清晰图像
。
调用训练好且冻结参数（Frozen）的 VAE Encoder 将其打碎成特征替身：
随机抽取时间步
，并生成隐空间高斯噪声
（尺寸也是 [4, 64, 64]）。
利用重参数化，在隐空间注入噪声，得到糊掉的潜在向量
： - 网络训练与代码级 Loss 计算
核心去噪网络（通常是 U-Net 或 DiT）在隐空间内开辟。
损失函数 (Loss)：
LDM 真实单步训练伪代码流程
for pixels, _ in dataloader: # pixels: [B, 3, 512, 512]
with torch.no_grad():
# 1. 用冻结的 VAE 压缩图像到隐空间
moments = vae_encoder(pixels)
mean, logvar = split(moments)
# 重参数化采样出 z0
std = torch.exp(0.5 * logvar)
eps_vae = torch.randn_like(mean)
z0 = mean + std * eps_vae # z0: [B, 4, 64, 64]
# 2. 扩散模型前向潜在加噪 t = torch.randint(1, 1001, (B,)) # 随机时间步 noise_latent = torch.randn_like(z0) # 潜在噪声 alpha_bar = alpha_bar_schedule[t].view(B, 1, 1, 1) zt = torch.sqrt(alpha_bar) * z0 + torch.sqrt(1 - alpha_bar) * noise_latent # zt: [B, 4, 64, 64] # 3. 核心 U-Net 预测潜在噪声 pred_noise_latent = unet_model(zt, t) # 输入 4x64x64，输出 4x64x64 # 4. 像素级的潜在 Loss 计算并反向传播 loss = MSE_Loss(noise_latent, pred_noise_latent) loss.backward() optimizer.step()📤 详细的推理细节（Inference）
LDM 推理极速生成伪代码流程
步骤 1：凭空在隐空间中初始化一个纯高斯沙盒
z = torch.randn([1, 4, 64, 64])
步骤 2：在低维隐空间进行反向去噪迭代 (以 DDIM 为例)
for t in range(1000, 0, -50): # 跨步采样，只走 20 步
pred_noise = unet_model(z, t) # U-Net 预测隐空间噪声
# DDIM 乾坤大挪移解构 z0_hat = (z - sqrt(1 - alpha_bar[t]) * pred_noise) / sqrt(alpha_bar[t]) pred_dir_z = sqrt(1 - alpha_bar[t-50]) * pred_noise # 重新勾兑出前一步更清爽的潜在向量 z = sqrt(alpha_bar[t-50]) * z0_hat + pred_dir_x步骤 3：大功告成，走出隐空间。调用 VAE Decoder 将 z 升维放大
with torch.no_grad():
final_image = vae_decoder(z) # 还原出 [1, 3, 512, 512] 的高清真实照片
- Conditional Diffusion Models —— 有条件生成的控制艺术
🧱 核心底层逻辑：给混沌世界套上缰绳
如果没有引导，潜在扩散模型（LDM）只能从一堆随机的隐空间噪声中“开盲盒”。
条件生成的本质：将人类的控制信号
（比如文本提示词、线稿、深度图）转化为一种“引力场（Score）”或“特定的速度向量（Velocity）”，强行校正和勒令隐空间粒子的演变轨迹，使其向符合
语义的特定山峰收敛。
在真实工业界（如 Stable Diffusion 3、Flux），控制的核心秘密在于两块：信息的跨界注入（Cross-Attention） 和 控制力的夸张放大（Classifier-Free Guidance）。
📥 第一阶段：全链路大串联之——信息跨界注入（训练阶段）
在开始推理之前，模型必须在训练中学会听懂人话。我们以最顶级的 DiT (Diffusion Transformer) 架构下的条件流匹配 (Flow Matching) 为例，看所有组件如何打配合。
- 数据的多维并进
每个训练批次，服务器同时输入三个完全不同的信号：
原始图像：
（人类能看懂的高清猫咪图）。
文本控制：
一只精致的机械猫
（一串人类字符串）。
时间标量：
（当前传送的进度）。
2. 时空转换：VAE 与 CLIP 的双向降维
图像降维：
丢进已经训练好且冻结参数的 VAE Encoder，通过重参数化抽样，变成隐向量
。像素级的信息被过滤，图像大体结构和语义被锁进隐空间。
文本降维：提示词
丢进预训练好的文本编码器（如 CLIP 或 T5）。文字被拆成 Token，经过多层 Self-Attention，吐出文本嵌入矩阵（Text Embeddings）
。文字的逻辑内涵被映射成了高维几何空间里的坐标向量。
3. 直线传送的搞破坏（前向流匹配）
在隐空间中，计算机随机生成一个和
尺寸一模一样的标准高斯噪声
。
根据流匹配的线性插值公式，拼出
时刻的潜在糊图
：
上帝视角的完美直线速度方向，死死固定为：
。
- 交叉注意力机制（Cross-Attention）的劫持注入
网络（DiT）把
切成一个个小方块（Patches），变成隐向量 Token 序列。
在 DiT 内部的交叉注意力层里，图像 Token 扮演 Query (Q)，文本向量
扮演 Key (K) 和 Value (V)：
物理意义：图像的每一个潜在像素点（Q），都在疯狂地去寻找和它最匹配的文本单词（K），并把这个单词代表的色彩和语义（V）直接吸收到自己的身体里。
5. CFG 信号空投劫持（关键补丁）
为了让网络不仅懂条件生成，还懂瞎编（无条件生成），在训练时，有 10% 的概率，我们把文本向量
强行替换成全零的空向量
。
最终算出条件流匹配损失函数：
网络通过反向传播，学到了在任何时刻，看着眼前的潜在糊图，结合文本，去猜测通往终点的直线速度场（Vector Field）的能力。
📤 第二阶段：全链路大串联之——无中生有的极致生成（推理全链路细节）
现在模型训练大功告成，你坐在电脑前，在界面上输入了 “一只精致的机械猫”，把 CFG Scale（控制听话程度的滑块）设为 7.5，点击生成。
以下是电脑在后台发生的、环环相扣的全链路惊天演绎：
🚀 链路第一步：信号整备与噪声海诞生
文本提示词通过 CLIP 转化成
机械猫
。同时，电脑自动准备好一个全零的空文本向量
。
计算机的随机数发生器爆发，在一张空白的隐空间画布上，泼下一堆纯高斯噪声。我们叫它
，尺寸是 [1, 4, 64, 64]。这里面是一片虚无。
🚀 链路第二步：时空倒流的确定性常微分方程（ODE）极速反向迭代
我们让时间
从
（纯噪声）倒数到
（完美图像潜变量）。假设我们使用欧拉法（Euler Method），只走 20 步，每一步的跨度
。
我们来看其中某一步（比如当前在第 15 步，时间
，手里的潜在矩阵是
）模型内部发生的双路脑内拔河（CFG 细节）：
第一路：AI 的盲盒直觉（无条件预测）
我们把当前的
、时间 0.75 以及空向量
喂给网络。
网络不看人话，只看这堆还有点乱的特征，凭借记忆预测出一个盲盒速度：
特点：这个速度指向的并不是具体的机械猫，而是指向“全宇宙所有可能的、符合宏观规律的图片的混沌合力方向（也就是走向真实分布的泛泛方向）”。
第二路：AI 倾听人话（条件预测）
我们把当前的
、时间 0.75 以及真实文本
机械猫
喂给同一个网络。
网络结合交叉注意力，预测出一个有文本指导的速度：
机械猫
特点：这个速度包含了机械猫的特征，但可能还夹杂着其他随机图片的杂质。
第三路：CFG 灵魂外推（向量提纯与夸张放大）
利用减法，将条件预测减去无条件预测，强行过滤掉 AI 脑海里那些漫无目的的杂音和胡思乱想，提纯出纯度 100% 的“机械猫的速度向量”：
接着，我们把这个纯净的方向乘以你的控制滑块参数
，再加回无条件的直觉速度上，得到最终的组合迭代速度：
大步滑行
顺着这个被高度净化、且夸张放大了 7.5 倍的“机械猫终极速度矢量
”，图像粒子在隐空间中笔直地向前滑行一小步，来到
的新台阶：
🚀 链路第三步：群星坍缩，隐空间大功告成
随着 20 步循环在低维隐空间中以电光石火的速度疯狂纠偏、迭代：
前 5 步：纯噪声的混沌合力被打破，隐空间像素矩阵被强制划分出宏观结构（猫头在中央、背景在四周）。
第 10 步：不确定性开始像漏斗一样急剧收窄，其他可能性（如狗、山水）在 CFG 的高强度压迫下概率直接坍缩清零。速度方向开始百分之百聚焦到“一只精致的机械猫”这唯一的命运曲线上。
第 20 步 (
)：循环结束，网络输出的速度变成了全 0（说明到了抛物线的平坦终点，无需再修正）。我们手里紧紧握着的，是一个完全去噪、在低维空间充斥着机械猫全部高浓缩语义信息的潜在向量
。
🚀 链路第四步：VAE 解码释放，高清像素震撼面世
此时，电脑屏幕上依然是一片空白（因为人类肉眼看不懂隐空间的 4 通道矩阵）。
全链路最后也是最爽快的一记终结技爆发：
我们把这个精致的、在隐空间捏好的
[4, 64, 64] 塞进 VAE Decoder（解码器）。
解码器展开庞大的转置卷积与上采样神经网络，将 4 通道特征图纵向拆解、横向放大 8 倍。
四大金刚 Loss 里的 感知损失
和 对抗损失
（GAN 判别器） 在训练时赋予 VAE Decoder 的超强炫技能力瞬间展现——它将低维语义原液完美重构，把模糊和妥协的平均值滤掉，喷涌出大量线条锐利、对比度极强的高频像素细节（金属的冷冽反光、细腻的机械齿轮缝隙、猫咪的精致胡须）。
最终，一幅
的高清完美机械猫画作瞬间定格在你的屏幕上。
💻 包含 CFG 与全链路串联的工业级推理核心伪代码
现代 LDM (DiT + Flow Matching + CFG) 完整生成链路伪代码
import torch
def generate_image_pipeline(prompt, cfg_scale=7.5, steps=20):
# ─── 链路第一步：文本与空信号的高维几何映射 ───
# 1. 文本通过 Frozen CLIP Encoder 变成 77x1024 的条件语义嵌入
text_embed = clip_text_encoder(prompt) # Shape: [1, 77, 1024]
# 2. 准备完全等长的空文本嵌入作为“直觉/盲盒”对比线
null_embed = clip_text_encoder(“”) # Shape: [1, 77, 1024]
# ─── 链路第二步：隐空间噪声海的诞生 ─── # 凭空生成 4 通道低维潜在高斯随机矩阵 z = torch.randn([1, 4, 64, 64]) # Shape: [1, 4, 64, 64] # ─── 链路第三步：时空倒流的 ODE 极速直线修正流 (流匹配反向迭代) ─── dt = 1.0 / steps # 步长 dt = 0.05 for i in range(steps): # 算当前步的时间 (从 1.0 笔直倒扣到 0.0) t_current = 1.0 - i * dt # 标量，如 0.75 # 拼接 Batch 实现条件与无条件并行前向，压榨 GPU 吞吐量 batch_z = torch.cat([z, z], dim=0) # Shape: [2, 4, 64, 64] batch_time = torch.tensor([t_current, t_current]).to(z.device) batch_context = torch.cat([null_embed, text_embed], dim=0) # [2, 77, 1024] with torch.no_grad(): # 核心网络 (DiT) 通过 Cross-Attention 让像素 Token 去死死吸附文本向量 # 输出速度场预测矩阵 (Vector Field Output) batch_velocity = dit_transformer_model(batch_z, batch_time, batch_context) # 剥离出两条平行宇宙的预测速度 v_uncond, v_cond = torch.chunk(batch_velocity, chunks=2, dim=0) # 各自为 [1, 4, 64, 64] # 【CFG 核心脑内拔河】: 提纯出百分之百和文本强相关的速度分量 pure_text_velocity = v_cond - v_uncond # 夸张放大 cfg_scale 倍，并融合回大方向，决定本步最终的最优传输速度向量 v_final = v_uncond + cfg_scale * pure_text_velocity # Shape: [1, 4, 64, 64] # 常微分方程欧拉法大步滑行 (因为时间是倒流反向生成，故用减法) z = z - dt * v_final # 更新后的 z 依旧是 [1, 4, 64, 64] # 当循环走出，z 已经成为了完全清爽、凝聚了机械猫全部宏观组织逻辑的纯净潜在状态 z0 # ─── 链路第四步：VAE 解码器神魔级重构（突破模糊，降维升维释放） ─── with torch.no_grad(): # 利用包含感知损失和对抗 GAN 训练出来的强悍 Decoder 释放像素细节 pixel_output = vae_decoder(z) # Shape: [1, 3, 512, 512] # 将 [-1, 1] 映射回 [0, 255] 图像通道并保存 final_image = post_process_to_rgb(pixel_output) return final_image💾 全链路四大硬核组件知识点终极串联图
【人类输入】 Prompt: “机械猫” CFG Scale: 7.5 初始随机种子 (Seed)
│ │ │
▼ │ ▼
【文本大本营】 CLIP 提炼出几何特征矩阵 c(y) │ 高斯沙盒 z1 [4, 64, 64]
│ │ │
▼ (Q-K-V 交叉注意力劫持) │ ▼
【核心去噪战场】 DiT 吸收语义 ──► 【同时跑两路】 ──► CFG 向量减法提纯 ──► 乘以 7.5 放大 ──► 用 ODE 欧拉法纯确定性
(隐空间 Latent) 直线滑行 20 步
│
▼
【完美潜在原液】 完全干净的 z0 [4, 64, 64]
│
▼
【高清大功告成】 高清像素图片 [3, 512, 512] ◄─── VAE Decoder 升维放大 ◄─── 依靠感知损失/GAN对抗逼出超高频微观纹理
- 网络架构
- 图像 Token 化与 2D RoPE 的相位旋转（Patchify & Embedding）
这个阶段的目标，是把 VAE 压出来的隐空间画布，变成 Transformer 能够认得、且带有完整二维空间几何感知的一维 Token 序列。
📥 微观特征流向与 Shape 演变
① 图像切片 (Patchify)
输入输入：我们手里有一张变糊的隐空间画布
，维度是 [Batch, 4, 64, 64]。
切块机制：我们设置切片大小
。我们拿一个
像素大小的滑窗，在
的图像上无重叠地移动。
Shape 变化：横向能切出
个，纵向也能切出
个，总共能切出
个小方块（Patches）。
平坦化：每一个小方块内部有
个数字。我们直接把它们拉平成一维。此时，图像在数学上变成了 [Batch, 1024, 16] 的矩阵。
② 线性升维投影
网络操作：用一个全连接层（Linear），把那 16 维的底层像素数字，投影到 Transformer 内部标准的隐藏维度（隐藏大小
，通常大模型
）。
Shape 结果：此时主干特征矩阵
诞生，维度是 [Batch, 1024, 1152]。这 1024 就代表 1024 个图像 Token。
📥 2D RoPE (二维旋转位置编码) 的绝对技术细节
这 1024 个 Token 排成一排，网络根本不知道谁在猫头的左边，谁在猫耳的右边。主流大模型（如 Flux、SD3）使用的 2D RoPE 并不是把位置编码死板地加在输入上，而是在 每一个 Block 计算注意力（Attention）时，直接动态旋转
和
的特征角度。
📐 数学与工程细节：
网格坐标映射：每一个 Token 都有一个专属的二维网格坐标
。比如左上角第一个方块的坐标是
，右下角最后一个方块的坐标是
。
隐藏维度对半拆分：将图像 Token 的 1152 个隐藏通道一分为二。前 576 维被划归为 X 轴（水平） 控制区，后 576 维被划归为 Y 轴（垂直） 控制区。
复数空间旋转：
在这 576 维的 X 轴控制区里，每两个通道组成一个二维平面。我们根据该方块的横坐标
，乘以一个特定的频率，转动该平面的特征向量角度（旋转
）。
在后 576 维的 Y 轴控制区里，同样每两个通道一组，根据该方块的纵坐标
，转动其对应的特征角度（旋转
）。
效果：经过这轮旋转，当两个图像 Token（比如左眼和右眼）计算内积（Dot Product）时，它们天然地带有了它们在二维画面上的相对几何距离信息。不管推理时图片怎么拉大或裁剪，空间相对结构永远锁死，绝不画畸变。
2. 全局画风控制台：AdaLN-Zero (自适应层归一化) 细节
在数据进入注意力机制计算之前，必须套上“当前时间步
（现在应该抹除多少噪声）”和“文本大体在说什么”的全局环境缰绳。AdaLN-Zero 扮演了全局调音台的角色。
📥 6个控制推子的动态计算与洗脑机制
① 条件向量大合流
我们将时间步标量
经过正弦编码后，加上文本编码器（CLIP）提取出来的全局文本单向量（Pooled Text Embedding），融合成一个环境向量
，维度是 [Batch, 1152]。
② 调音台参数爆发 (MLP)