NVIDIA Cosmos · Architecture Field Guide
从代码库布局一路读到分布式并行——五张图,一套视觉语言。对象是 Cosmos 3 omnimodal world-model
的训练 + 服务框架:单个 cosmos_framework/ 包,围绕一次大规模分布式训练/推理的工作流组织。
每张图都直接从源码还原,不是照抄文档。
五张图 · 从宏观到微观
七层:CLI 入口 → 训练/推理双路径 → 共享 MoT 核心 → 基础设施 → 后端 → 规划中子包。
→ 🧠 02 · 网络OmniMoT 数据流:五模态 → 联合序列 → MoT 双专家分支 → 自回归 / 扩散双头。
→ 🔬 03 · 算子MoTDecoderLayer 内部:pre-norm、共享注意力联合 softmax、双通路 MLP/MoE、两处残差。
→ ⏱️ 04 · 时序同一个 rectified-flow 速度场:训练单点监督(1 次前向)vs 推理多步 ODE 积分(N 次)。
→ 🕸️ 05 · 分布式分区轴(FSDP/HSDP)× 叠加轴(CP/CFG)、装配顺序、三种场景组合——这个框架存在的理由。
→建议顺序:01 → 02 → 03 → 04 → 05,宏观到微观,最后落到分布式。