Video-Coder：用强化智能体编码赋能视频生成

Video-Coder 旨在解决视频生成中精确空间结构、运动动力学和可控场景组合的难题，提出了一种代码驱动的智能体。该智能体能够自主编写和执行代码以构建动态 3D 场景（草稿视频），从而为下游视频生成器提供结构和运动信号。为支持这一范式，作者设计了专门的数据管道，整理了两个数据集（Video-Coder-SFT-6k 和 Video-Coder-RL-2k），并开发了集成代码执行、3D 渲染和反馈的交互式环境 Video-Coder Harness。模型首先进行监督微调，随后采用结合双重奖励反馈（执行奖励与视频奖励）及退火训练策略的强化学习进行训练。实验表明，该模型在 PhyGenBench 和 VBench-2.0 等基准测试中显著提升了性能。尽管目前该论文为预印本，但作者已完全开源了代码、数据和模型。