Cosmos 3 · 生成模态 ▸ 扩散采样循环内部
模型前向图底部那条「扩散采样 ×N」回环的放大版。生成从纯噪声起步,循环
num_steps(默认 35)次:每步跑一遍 MoT gen 分支预测速度 v、用
CFG 把「有条件/无条件」两次预测混合、再交给求解器把 v 换成下一步 latent;
收敛后 VAE 解码成像素。文本侧是自回归(见模型图),这里只讲扩散侧。
x ~ 𝒩(0, I),形状同目标 latentvllm2vae 得到速度场 v_θ(x, t)。
🧠 这一步 = 整张模型前向图 → guidance_interval 只在指定 t 区间开 CFG(省一半算力);normalize_cfg 可把结果模长拉回 cond。
cfgp 并行时两支分到两张卡、各算一次再 P2P 交换。
v,交给求解器v 变成下一步 latent(三选一)x ← mask·ref + (1−mask)·x,保证条件帧永远不被噪声污染。
x₀