首页 > 资讯 > 拉爆游戏引擎？深度拆解 Genie 4，从视频生成到世界控制，Google 要跨越什么？

拉爆游戏引擎？深度拆解 Genie 4，从视频生成到世界控制，Google 要跨越什么？

雷锋网 2026-10-29 22:22 5 阅读 查看原文
世界模型 视频生成 Gemini
动态条件注入、因果核验与异步协作的三大技术挑战，暴露出哪些致命的技术死角？

    作者丨郑佳美

    编辑丨岑   峰

                                                                                                       

刚刚，Google DeepMind 正式发布了新一代世界模型 Genie 4。
除了实时生成可交互环境，这次还有一个有意思的设计：Genie 4 负责生成世界，Gemini 3.8 Flash 负责观察画面、拆解任务，并根据执行情况调整计划。
DeepMind 还展示了 Gemini 4 Argon 与 Genie 4 的组合，让模拟环境中的 Apollo 人形机器人完成跳棋任务。在整个过程中，新的任务指令可以持续加入，并改变后续发生的事件。
这给世界模型带来了新的技术要求。过去，模型主要根据历史画面和用户操作生成后续场景，现在还需要随时接收 Agent 发来的新指令。
当机器人移动一枚棋子后，模型既要保留棋盘已经发生的状态变化，又要理解下一阶段的任务，让后续画面与此前操作保持一致。如果执行失败，Agent 还需要从生成画面中识别异常，调整计划并继续执行。
任务规划、条件生成和状态核验由此进入同一个反馈循环，同时也带来了三个相互关联的问题：动态语言条件如何约束环境演化，Agent 如何避免陷入“指鹿为马”的因果幻觉，以及运行速度不同的模型，如何在毫秒级延迟下保持稳定协作。
图片

01


从条件生成到动态干预

Genie 4 的技术变化，可以从自回归世界生成的基本原理说起。
Genie 3 已经能够以 720p 分辨率、每秒 24 帧的速度生成可交互环境。它采用自回归方式，将此前的视觉历史和用户操作作为条件输入，学习环境随时间演化的分布，并通过连续生成维持场景的空间结构和对象外观。雷峰网
Genie 3 也支持 Promptable World Events，允许用户通过文字改变天气或添加物体。不过，在与 SIMA Agent 的早期实验中，世界模型主要根据外部操作模拟环境变化，任务理解和行动决策仍由 Agent 承担。
Genie 4 将这种交互进一步扩展到持续运行的任务过程中。在 Gemini 4 Argon 的实验中，Argon 可以将复杂任务拆解成连续步骤，通过 Interleaved Text Captions 将新的文字条件交错送入生成模型，让环境随着任务进度改变后续事件，而不必提前确定完整的事件序列。
从条件概率的角度看，模型生成下一段环境变化时，需要同时结合历史视觉信息、控制动作和当前生效的语言条件。动态文字输入会改变生成分布，但也引入了条件生效范围和时间依赖的问题。
例如，Apollo 机器人完成抓取后，新的文字条件要求它将棋子移动到指定位置。这条指令需要改变机械臂和相关棋子的后续运动，却不能扰动棋盘上的无关对象。同时，机械臂还必须延续此前建立的抓取关系，让移动和释放动作能够自然衔接。
这里涉及语义条件的局部约束，以及连续事件之间的依赖关系。高层 Agent 可以决定接下来执行什么任务，但对象之间如何交互、动作如何在物理上保持连续，仍需要世界模型在生成过程中处理。
实时生成还受到自回归计算方式的限制。模型无法在每次接收新指令后重新生成完整历史，只能利用已有上下文继续推演，因此动态条件如何影响内部状态表示成为关键。
一种可能的实现方式，是将对象信息隐含在视觉 Token 和时序特征中，通过自回归上下文延续环境变化。这种方式适合处理复杂的连续视觉场景，但缺少对长期对象关系的直接约束。
另一种方式是使用结构化状态，显式记录对象身份、空间关系和事件结果，再将这些信息作为生成条件。这有利于维护离散任务变量，却需要解决结构化状态与视觉特征之间的映射，以及两种表示何时更新的问题。
目前，DeepMind 尚未披露 Genie 4 的完整网络结构，也没有说明 Interleaved Text Captions 具体通过怎样的注意力机制、状态缓存或条件融合方式进入生成网络，因此还无法判断其内部采用了哪种实现。
图片

02


视觉状态不等于任务状态

Gemini 3.8 Flash 在闭环中负责根据 Genie 4 的画面理解任务进展，并规划后续行动。但视频主要呈现可观察的运动和外观变化，而任务是否完成，有时还取决于画面无法直接反映的结果。
DeepMind 展示过 UR5 机械臂使用移液器操作实验孔板的模拟场景。机械臂下降、移液器接近孔位、释放液体，再到机械臂抬升，可以形成一段完整的操作视频，但这些动作对应的任务状态并不相同。
例如，移液器抵达目标孔位上方，只能说明位置条件可能满足，液体是否进入指定孔位还需要额外证据。如果机械臂已经抬起，但液体转移并未发生，Agent 就不能仅凭动作序列结束确认任务成功。
这类判断可以借助部分可观测决策过程理解。Agent 只能根据连续观察估计环境状态，当操作结果受到遮挡或暂时不可见时，需要保留不确定性，并通过后续证据更新判断。
工程上可以使用事件级状态管理，将任务划分为执行中、已完成、失败和待确认，并结合结果条件与置信度门槛决定状态转换。证据不足时，系统可以继续观察或安排额外检查。不过，DeepMind 尚未公开 Gemini 3.8 Flash 是否采用类似的状态机或事件核验算法。
即使 Agent 能够识别任务阶段，生成式环境仍然存在一个特殊的因果风险：高层任务条件本身可能影响模型生成的行动结果。
在真实机器人系统中，机械臂能否抓住物体取决于位置、接触力和摩擦等物理条件。传统物理引擎也会维护明确的状态变量，按照动力学规则更新位置、速度和接触关系，再渲染对应的画面。
生成式世界模型学习的是感官信息随时间变化的规律。即使模型生成了视觉连贯的抓取过程，也不能直接证明相应的接触和受力关系符合物理约束。当任务描述要求操作成功时，生成结果可能受到目标语义影响，而 Gemini 又依据这些结果判断是否成功，最终形成自我确认循环。
值得注意的是，这当中可能存在一个“指鹿为马”的陷阱。在这场裁判和运动员都是 AI 的游戏中，物理常识被视觉连贯性所绑架。如果没有外挂的‘因果核验’与独立的‘动力学引擎’，Agent 根本学不到真正的物理边界。
这种风险会影响 Agent 从模拟中学习行动策略，因为有效的训练反馈需要反映不同操作带来的实际后果。
假设机械臂在相同初始状态下执行两种移液操作，一种对准目标孔位，另一种存在明显偏移。如果世界模型把两种动作生成成相同的成功结果，Agent 就无法学到位置误差与操作失败之间的关系。
反事实干预测试可以用于检查这种因果对应关系。固定场景初始状态，只改变某项操作，再观察后续结果是否符合合理的物理约束。测试还需要结合任务规则和对象属性，避免完全依靠视频相似度评价结果。
对于跳棋任务，可以引入独立的规则检查器，验证棋子位置、合法移动和胜负条件；对于机械臂或容器操作，则可以结合对象位置、接触状态和物体数量等信息，必要时引入外部状态估计或动力学模型。
但外部核验也存在局限。如果检查器完全依赖生成模型提供的错误状态，判断仍可能受到相同偏差影响。因此，涉及复杂物理交互的任务，还需要考虑如何获得相对独立的验证依据。
图片

03


两个模型如何持续协同

Genie 4 需要持续生成画面、运动和声音，而 Gemini 3.8 Flash 需要读取环境信息、分析任务进度并产生后续指令。两者的运行时间尺度不同，如果环境生成必须等待高层推理完成，实时交互就会受到延迟影响。
一种可行的思路是借鉴分层控制中的双时间尺度机制，让世界模型维持高频环境演化，由 Agent 在关键事件发生时更新任务目标。雷峰网
但异步协作又带来了指令时效性的问题。假设虚拟摩托车正在接近路口，Gemini 根据红灯发出减速指令，但在视觉采样、推理和条件传递期间，Genie 4 仍然持续生成环境。当指令抵达时，车辆位置可能已经发生变化，原先的控制要求未必仍然适用。
工程上可以为控制请求附加观测时间、事件标识和生效条件，在执行前检查指令是否过期。对于正在进行的连续动作，还需要设置可中断边界。
例如，机械臂抓起物体后，可以根据新指令调整移动目标；但如果新任务要求立即抓取另一个物体，就需要先处理当前动作的结束条件。事件队列、指令优先级和条件更新协议可以用于协调这些操作，不过 DeepMind 尚未公开具体的调度实现。
随着交互时间增长，长期状态管理也会变得复杂。连续视频包含大量短期运动细节，而任务规划需要长期保存的主要是已完成事件、失败操作和未满足的目标。如果始终依赖完整视觉历史，计算成本会不断增加，关键任务信息也容易受到无关画面干扰。
一种可能的解决方式是采用分层记忆。短期视觉上下文保留人物姿态、对象外观及局部运动信息，长期任务记录则以紧凑结构保存对象身份、事件类型、发生时间和执行结果。
短期视觉信息可以随时间逐步压缩，长期任务记录则根据需要检索，以减少持续交互对完整视频上下文的依赖。
不过，两类记忆也可能发生冲突。例如，事件日志记录某扇门已经关闭，但模型再次生成该区域时，却显示门处于打开状态。系统需要结合事件时间、记录来源及状态版本，判断是否存在中间事件、日志更新延迟或视觉生成漂移，避免错误状态持续影响后续任务。
Genie 4 引入原生音频生成后，长期交互还涉及跨模态时间对齐。碰撞声需要对应物体接触的时刻，人物对话也需要与环境事件和动作变化保持合理的先后关系。如果音频与视觉使用不同的生成节奏，系统就需要传递事件时间信息，减少声音与动作错位。
DeepMind 已指出，Genie 4 在长时间运行、多轮条件修改和反复探索场景后，仍可能出现物体持久性变化、视觉细节漂移，以及复杂物理交互和空间一致性方面的问题。
后续可以通过指令时效、历史事件记录和音视频同步等测试，进一步分析这些问题在持续交互中的具体表现。
图片

04


世界模型走向任务级控制

DeepMind 提出的 Hybrid World Models，为世界模型与 Agent 的进一步结合提供了一条可能的演进路径：由语言和代码模型处理离散逻辑、任务规则及结构化状态，生成模型则承担连续的视觉与声音模拟。
混合架构仍然需要建立离散状态与连续模拟之间的交互接口，让任务规则能够转化为生成约束，同时将环境变化转换成规划系统可以使用的信息。涉及复杂物理过程时，还可能需要结合专门的动力学模型。
对于机器人训练，后续实验还需要检验模拟中形成的行动策略能否迁移到真实环境，并分析生成环境与现实物理条件之间的差异如何影响训练效果。
随着世界模型开始支持持续的任务干预，其应用范围正在从可交互场景生成延伸到复杂行动的模拟训练。对于苦于“缺乏真实物理数据”的机器人赛道而言，这无疑是雪中送炭。如果这套系统能够彻底解决异步调度和因果幻觉的死结，它将成为具身智能终极的“绝境模拟器”。
Agent 能否在生成环境中学到具有现实适用性的行为规律，将决定这类系统在机器人领域的实际价值。
参考链接：https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注专区。

相关推荐