NVIDIA Cosmos · Architecture Field Guide

Cosmos-Framework 架构导览

从代码库布局一路读到分布式并行——五张图,一套视觉语言。对象是 Cosmos 3 omnimodal world-model 的训练 + 服务框架:单个 cosmos_framework/ 包,围绕一次大规模分布式训练/推理的工作流组织。 每张图都直接从源码还原,不是照抄文档。

来源 源码遍历 · docs/code_structure.md 日期 2026-07-19 图数 5

五张图 · 从宏观到微观

🌌 01 · 宏观

代码库架构

七层:CLI 入口 → 训练/推理双路径 → 共享 MoT 核心 → 基础设施 → 后端 → 规划中子包。

🧠 02 · 网络

模型架构

OmniMoT 数据流:五模态 → 联合序列 → MoT 双专家分支 → 自回归 / 扩散双头。

🔬 03 · 算子

单层展开

MoTDecoderLayer 内部:pre-norm、共享注意力联合 softmax、双通路 MLP/MoE、两处残差。

⏱️ 04 · 时序

训练 vs 推理

同一个 rectified-flow 速度场:训练单点监督(1 次前向)vs 推理多步 ODE 积分(N 次)。

🕸️ 05 · 分布式

并行 / 分片策略

分区轴(FSDP/HSDP)× 叠加轴(CP/CFG)、装配顺序、三种场景组合——这个框架存在的理由。

建议顺序:01 → 02 → 03 → 04 → 05,宏观到微观,最后落到分布式。