问题背景：2D 视频世界模型的表征局限
近两年，视频生成模型在具身智能领域受到持续关注。从 UniPi、SuSIE 到各类 action-conditioned video generation 变体，其核心思路一致：先由模型生成一段未来视频，再从中提取动作信号供机器人执行。
(资料图)
这一范式存在一个长期未被解决的问题 ——2D像素预测与 3D 物理世界之间存在本质性的表征鸿沟。该鸿沟主要体现在三个方面。
其一，2D视频不包含深度信息。机器人需要判断目标物体与末端执行器的确切距离（例如 30 厘米或 50 厘米），而纯像素预测只能给出物体在画面中的大致方位，不足以支撑精确操控。
其二，2D 模型缺乏显式的运动场。像素预测可反映物体发生了位移，却无法给出每个像素在三维空间中的位移方向与幅度，而末端执行器的关节角需从这类三维运动中推导。
其三，缺乏几何约束的视频生成容易产生 “物理幻觉”。同一物体在相邻帧间出现尺度变化或形状形变，本应发生碰撞的物体互相穿模。这类瑕疵对人眼影响有限，但对依赖精确控制的机器人构成显著的信号噪声。
阿里巴巴达摩院最新工作 RynnWorld-4D 正是针对这一问题：世界模型在生成视频的同时生成深度与光流，直接输出带有几何结构与运动轨迹的 4D 预测。
- 论文标题：RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation
- 项目主页：https://alibaba-damo-academy.github.io/RynnWorld-4D.github.io
- 论文链接：https://arxiv.org/abs/2607.06559
- 代码链接：https://github.com/alibaba-damo-academy/RynnWorld-4D
表征设计：RGB-DF 构成物理锚定的 4D 表征
图 1：RynnWorld-4D 整体流程。给定单张 RGB-D 图像与一条语言指令，模型在同一扩散过程内同步生成未来的 RGB 视频、深度图序列与光流场。
RynnWorld-4D 的首要设计选择，是采用 RGB-DF（RGB + Depth + Flow）表征，而非 RGB-DN（RGB + Depth + Normal）或 3D Gaussian / NeRF。
表面法线（Normal）描述的是静态几何属性，即某一表面的朝向，适用于静态重建；而操作任务更关注物体上某一点的运动方向与位移幅度。光流提供了每个像素在相邻帧之间的 2D 位移；在已知深度图的前提下，该 2D 位移可反投影回 3D 空间，得到三维场景流（3D Scene Flow）。
深度图给出每个点在三维空间中的位置，光流给出其在下一帧的去向，两者结合构成完整的 per-point 三维运动矢量。该表征与机器人的动作空间天然对齐 —— 末端执行器的位移本质上是三维空间中的轨迹。相比让策略网络从纯像素变化中隐式推断三维运动，显式提供运动场更为高效。
不采用 NeRF 或 3DGS 的原因在于：这类方法几何精度虽高，但需要多视角输入，且难以继承大规模视频扩散模型的生成先验。RGB-DF 保持了 2D 对齐形态，可直接在 Wan 2.2 等强视频模型基础上扩展，从而复用已有的纹理生成能力。
架构设计：三分支协同与跨模态对齐
图 2：RynnWorld-4D 架构总览。三分支 Transformer 分别建模视觉纹理、空间几何与运动轨迹，并通过联合跨模态注意力（JA）与帧级 3D RoPE 实现跨模态对齐。
RynnWorld-4D 的架构核心是：三种模态各自保留独立的特征空间，并在关键节点强制对齐。
具体实现为三分支 Transformer，基于 Wan 2.2-TI2V-5B（30 层 DiT，hidden dim 3072）扩展。每个分支拥有独立的 self-attention 与 FFN，分别处理 RGB 纹理、深度几何与光流运动。消融实验表明，若三种模态共享 FFN，性能显著下降，原因在于纹理、几何与运动的 latent space 本质异质，共用同一非线性变换会造成表示干扰。
为保证三条分支相互对齐，模型引入联合跨模态注意力（Joint Cross-Modal Attention, JA）：每隔 3 个 Transformer block 插入一个 JA 模块（共 10 个），每个分支的 query 会 attend 到另外两个分支的 key/value。
- RGB 分支在生成纹理时，参考深度提供的几何边界与光流提供的运动方向；
- 深度分支在生成几何时，从 RGB 纹理中获取物体边缘等线索；
- 光流分支在预测运动时，结合深度变化与纹理位移校准方向。
JA 中的 cross-attention 会为 query 与 key 施加帧级的 3D 旋转位置编码（3D RoPE），使跨模态注意力仅在同一时间帧的空间对应位置生效，而非进行全局语义平均。消融实验显示，去掉 3D RoPE 后深度精度（δ1）由 0.610 降至 0.450、光流误差（AEPE）由 0.170 升至 0.210，表明空间级对齐是必要的。
分阶段训练：模态适配与联合对齐
三个分支无法直接从头联合训练：RGB 分支继承了预训练视频模型的强先验，而深度与光流分支需重新适配不同的数据分布。为此，RynnWorld-4D 采用三阶段策略。
Stage 1（模态适配）：关闭 JA 模块，三个分支独立训练。深度与光流分支从 RGB 预训练权重出发，适配至各自的目标分布。
Stage 2（冻结主干 + 训练 JA）：冻结三个分支的 backbone，仅训练新插入的 JA 模块，用于建立跨模态对齐路径，同时不破坏已学到的模态内表示。
Stage 3（全参数联合微调）：解冻全部参数，在完整数据集上进行联合 SFT，进一步精化三模态协同。
此外，训练中采用 Branch Dropout 机制：随机丢弃深度或光流分支的输入（Stage 2 概率 0.2，Stage 3 概率 0.1），迫使 JA 从可见模态重建缺失模态。该机制使推理阶段在部分帧深度估计存在噪声时，模型仍可通过 RGB 与光流相互补偿。
数据构建：2.54 亿帧 4D 数据的标注管线
图 3：Rynn4DDataset 1.0 的数据构成。
4D 世界模型的核心瓶颈之一是：同时具备 RGB、深度与光流标注的大规模视频数据几乎不存在。RynnWorld-4D 的解决方案是自建 Rynn4DDataset 1.0—— 融合人类第一人称活动视频（Epic-Kitchens、EgoVid）与多源机器人操作数据（RoboMIND、RDT-1B、Galaxea、RoboCoin、AgiBot），总规模超过 2.54 亿帧。
在数据规模之外，标注质量是关键。每一帧均经过三重标注：由 Qwen3-VL 生成细粒度语言描述，由 Depth Anything 3 估计深度图（统一归一化至 0–5 米），由 DPFlow 计算稠密光流。该标注流水线使任意一段普通视频都能转化为带 4D 标签的训练样本，从而缓解真实 4D 标注数据稀缺的问题。
消融实验验证了数据规模的作用：去掉大规模预训练后，光流误差（AEPE）由 0.170 升至 0.729，恶化超过 4 倍。这表明仅依赖少量任务数据不足以学到复杂的时空动态先验，数据规模对 4D 世界模型具有决定性影响。
策略学习：单次前向推理生成动作
世界模型用于策略学习的常见方式是：先完整执行去噪过程生成未来视频，再由 inverse dynamics model 从视频中提取动作。该流程的主要问题是延迟高 —— 多步去噪、视频解码与逆动力学叠加，使高频闭环控制难以实现。
RynnWorld-4D-Policy 不要求世界模型完成完整生成过程，而是直接从 RynnWorld-4D 的中间层特征中提取 4D 信息，具体为第 15 层 Transformer block 在 diffusion timestep t=500 时的 hidden state。此时的中间 latent 已编码未来的几何演化与运动趋势，尚未被解码为可视化视频帧。
随后，一个 Flow Former 将高维特征压缩为固定大小的 token，一个轻量的 flow matching head 通过 4 步 ODE 采样输出 10 步动作（54 维）。整个推理仅需一次前向传播，无需迭代去噪。
在单张 RTX 5090（FP8 量化 + FlashAttention 3）上，完整推理周期约 1.1 秒。由于每次输出 10 步动作并行执行（action chunking），实际有效控制频率约为 9 Hz，可覆盖大多数人类尺度的操作任务。
实验结果：4D 预测能力的量化验证
生成质量：几何精度与视觉保真度
表 1：4D 生成质量定量评测与结构消融。指标涵盖视觉保真度（RGB）、几何结构（Depth）与运动（Flow）；N/A 表示该基线不具备生成对应模态的能力。
在 50 段测试视频上，RynnWorld-4D 的生成质量可从三个维度评估。
视觉保真度：与纯视频生成模型 Wan-14B 持平或更优（SSIM 0.754 vs. 0.536），表明引入深度与光流分支未降低 RGB 质量，反而通过互约束提升了结构一致性。
几何精度：深度 δ1 为 0.610，是 TesserAct（0.279）的 2.2 倍、4DNeX（0.327）的 1.9 倍，验证了联合跨模态注意力的有效性。
运动精度：AEPE 为 0.170，是当前唯一能同时输出稠密光流场的 4D 世界模型；其他方法或不生成光流（TesserAct、Free4D），或不具备运动场输出能力。
图 4：生成效果展示。RynnWorld-4D 同步生成时间连贯的 RGB、深度与光流序列，几何结构清晰、跨模态边界精确对齐。
定性结果呈现三个特征。其一为跨模态一致性：深度图中的几何边界与光流中的运动边界均与 RGB 纹理变化精确对齐，模态之间不存在割裂；例如机械臂拾取苹果时，深度图中苹果轮廓的变化与光流中苹果的运动向量保持同步。其二为物理真实性：无论人手操作还是机械臂轨迹，模型均能准确刻画物体位移与多接触点交互等复杂 4D 动态。其三为时序稳定性：生成序列在时间维度上结构稳定，未出现传统视频模型常见的物体闪烁或形状突变；即使在多物体近距离交互场景下，深度与光流分支的互约束也有效抑制了尺度抖动与形变。上述结果表明，在同一扩散去噪过程中联合建模 RGB、深度与光流，三者之间形成了较强的物理互约束。
策略表现：双臂灵巧操作任务对比
图 5：六项真实世界双臂灵巧操作任务示意及成功率对比。
策略评估在六项真实世界双臂灵巧操作任务上进行（每项 35 次试验）。硬件平台为天机 M6 双臂机器人，配备 WUJI HAND 灵巧手，通过 RealSense D435i 获取第一人称视角图像作为观测输入。对比基线包括 Diffusion Policy、π0 与 π0.5。值得关注的对比结果包括：
- 双手物体传递（Hand-over）：RynnWorld-4D-Policy 成功率为 28.57%，π0 为 2.86%，π0.5 为 0%。该任务需要推理两个高自由度末端执行器之间的相对三维距离与潜在自遮挡，2D 策略难以完成，而 RynnWorld-4D 的 4D latent 本身包含此类几何信息。
- 盖子放置（Lid Placement）与碗具堆叠（Bowl Stacking）：均达到 65.71%，较次优方法高出 8.5%。两项任务对空间精度要求高（盖子需对准盒口、碗需平稳叠放），深度与光流提供的显式几何信号在此发挥关键作用。
- 关于 π0 / π0.5 在上述任务上表现不佳的原因，论文给出两点分析：其一，其预训练数据以平行夹爪为主，缺乏灵巧手先验；其二，在双手协作场景中，纯 2D 表征无法有效推理两个末端执行器之间的空间关系。这属于表征空间的根本限制，而非单纯的数据量不足。
论文进一步进行了模态贡献的消融。仅使用 RGB latent 时，多数任务成功率较完整模型低 10–20 个百分点；加入深度后，空间精度要求高的任务（如 Hand-over、Bimanual Lifting）明显受益；加入光流后，运动敏感任务（如 Block Pushing）表现提升；三者联合时达到最佳。该结果验证了 RGB-DF 表征的协同价值：纹理提供外观语境，深度提供空间锚定，光流提供运动线索。
展望：4D 世界模型的下一步
回望这条路线，具身世界模型正从二维视频想象走向四维物理推演。RynnWorld-4D 第一次在单一扩散框架内实现了 RGB - 深度 - 光流的协同生成，并证明这种 4D 预测能力可以直接转化为真机闭环控制的增益。当然，约 9 Hz 的频率对超高频精密任务仍是瓶颈，单一第一人称视角也尚未覆盖多机协作 —— 这些正是推理加速与多视角拓展的方向。而随着操作任务对精准三维理解的需求不断加深，能同时预测几何与运动的 4D 世界模型，或许会成为连接感知与决策越来越关键的一环。
