机器人明明抓空了，世界模型却预测它成功抓起了水果。这不是科幻桥段，而是行业普遍现象：给定完全相同的初始画面和动作序列，主流世界模型能生成画面逼真、却与真实执行完全相反的视频。若不逐帧对照，这类系统性偏差便被完美掩盖。

10月16日，全球首个以真实执行为标尺的动作驱动世界模型评测平台WorldOracle正式发布，并向开发者开放评测提交。项目由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学的研究人员联合完成，团队兼具世界模型研发者与评测基准研究者背景。WorldOracle直击行业空白：给定一组动作，模型预测的未来与真实发生的过程，究竟差多少？

01
三个“压力测试”，校准世界模型的执行一致性

世界模型生成的视频越来越逼真，但“像不像”和“真不真”是两回事。当它被用作机器人的“预演沙盘”——筛选动作方案、评估策略、生成训练数据——一次失败操作被预测成功，机器人就会系统性高估自己。此前评测要么在仿真环境跑，要么只考文本驱动视频生成。WorldOracle把考场搬到真机实录现场：预先采集真实操作的画面与动作序列，让模型在相同条件下开放回放生成预测，再与真实执行逐帧对照。真实操作中的抓空、掉落、洒水被完整保留——准确预测失败，同样得高分。

WorldOracle将“预测与真实执行的吻合程度”命名为执行一致性（Execution Coherence）。可靠的世界模型必须扛住三重压力测试：

因果服从：模型必须严格跟随给定动作序列，包括错误动作与失败操作。现实抓空，预测抓空才是满分；把失败“脑补”成功，就是幻觉。

分布迁移：动作可来自人类遥操作，也可来自机器人策略自主执行——后者带有停顿、抖动和临场修正，模型不能只会应付“标准操作”。

时序耐力：不是预测前10秒像不像，而是连续操作120秒后，误差是否仍在可控范围。

三重测试全部以真实世界执行记录为标尺：预先采集真实操作画面与动作，让模型在相同初始画面和动作序列下开放回放（open-loop replay）生成预测，再逐帧对照评分。对比研究发现，WorldOracle是目前唯一同时做到“动作条件化+真实数据+含失败样本+长时序+多本体+多视角+策略自主执行分布”七项的评测基准，此前最接近的工作要么依赖仿真，要么只靠文本驱动视频生成。

02
335条真机轨迹、四成失败样本
考卷先过“可信度测试”

WorldOracle考题全部来自真机实拍，且是全球首个把“失败”当核心考点的世界模型基准：

335条评测轨迹：智元精灵G2机器人100条、YAM机器人75条、人类第一视角手部操作100条、G2策略自主执行60条，每条约2分钟；

约40%为失败或次优执行：抓空、掉落、洒水完整保留；

3类任务覆盖4种物理形态：水果抓取（刚体）、挂毛巾（柔性体）、倒水（流体）、开合抽屉（关节体）；

训练配套：新采集1,779条G2训练轨迹（含约20%失败片段），为YAM配套公开ABC-130K数据集；人类手部场景完全零样本（zero-shot）考验泛化能力。

据悉，评测流程对参赛者友好：无需自采真机数据，用评测集提供的初始画面和动作序列生成预测视频提交，平台自动对照真实执行评分。标注管线实现“工业化”：VLM为每个交互片段的结果关键帧自动生成物理判据（如“绿色杯子已被夹爪抓住”），SAM3逐帧分割物体、机械臂和人手区域，评测聚焦真正发生交互之处，避免大面积背景稀释误差。

阅卷标准也经检验：119名参与者对128对预测盲评（匿名、随机排序、与真实执行对照），四项指标与人类判断一致率为88.1%–93.2%，Spearman相关性0.72–0.82。即使分差极小、肉眼难辨的样本组，一致率也显著高于随机水平。

控制实验证明：关键区域指标随交互区域失真加重而单调下降，背景单独变化时几乎不动——指标抓的确实是“交互处的错误”，而非背景噪声。

03
七个模型同台大考：五个发现，个个扎心

研究横评7个代表性动作驱动世界模型：IRASim、Ctrl-World、DreamDojo、Cosmos 3、GE-Sim 2.0、JointControlVideo、OSCAR。成绩单指向明确的技术坐标。

发现一：机械臂会“演戏”，物体才是说谎者。将空间对齐指标拆为“机械臂”和“被操作物体”后，所有模型无一例外出现巨大落差：G2人工操作轨迹上，IRASim机械臂得分78.8、物体仅29.1，相差近50分；Cosmos 3为89.4对45.4；即便最强的GE-Sim 2.0，机械臂100.0、物体也只有62.8。机械臂运动被精确复刻，但它对世界造成的影响——水果有没有被抓走、毛巾有没有滑落、水有没有进杯——模型其实“没看住”。机械臂伸到哪里只是操作的一半，“这一动带来了什么”才是机器人真正需要预演的东西。

发现二：120秒，是多数世界模型的“记忆极限”。预测窗口从10秒拉长到120秒，衰减曲线触目惊心：G2人工操作数据上，GE-Sim 2.0单视角综合分从10秒的86.1跌至120秒的63.4，其余模型长时程末端仅剩26.7–35.1分。按完整轨迹计，DreamDojo从50.56掉到27.08，Cosmos 3从53.99掉到26.60——短时预测分数几乎不能预判长时表现。“熬不过两分钟”意味着目前还撑不起长程规划。

发现三：动作跟得越准，越会掩盖结果错误。空间对齐和物理结果正确是两种独立能力。GE-Sim 2.0完整轨迹上多视角一致性高达96.96、空间对齐73.49，但物理状态正确性仅60.26——机械臂在所有相机视角里“演得很像”，水果结局却可能完全错误。论文极端案例：一段预测空间对齐80.8分，物理状态却是0.0分（抽屉实际全关，模型预测成拉开）。单一指标、只看“像不像”的评测会失灵：一个模型可以在所有视角里精确地撒同一个谎。

发现四：换了“司机”，成绩大幅跳水。WorldOracle首次将“机器人策略自主执行”作为独立考区：由π0.5策略在真机上闭环运行产生动作，带有人工操作没有的犹豫、抖动和中途修正。部分模型成绩大幅下滑——Ctrl-World物理状态正确性从人工操作下的51.15跌至自主执行分布的27.22。只会应付“标准操作”的世界模型，离真实机器人工作现场还有距离。

发现五：人手，是当前世界模型的“绝对盲区”。零样本参与人类手部场景的三个模型集体垫底：即便表现最好的模型，物体区域保真度也只有15.2分。高自由度关节运动、可变形手部外观、精细接触力学——精准预测“手与物体交互”仍是全世界模型未攻克的难题，而这恰恰是通用机器人（末端执行器为灵巧手）路线最需要的能力。

04
开放提交：榜单与提交指南已公开

WorldOracle已公开榜单和提交指南，支持开放权重与闭源模型。注册审核后，开发者可按模型支持的本体与赛道提交预测视频，查看综合分、分项成绩与逐段对比视频。评测把“我的模型变强了吗”拆成可验证的具体问题：一次改进，是让物体运动更真实，还是只让机械臂更“上镜”？对失败操作的误判减少了吗？预测拉长到两分钟后，提升还在吗？

据项目团队介绍，随着世界模型加速进入机器人规划、策略评估和训练管线，上述问题已难以靠“看起来很像”回答。WorldOracle的定位是提供一套以真实执行为参照的公开评测基准，把模型生成的未来与真实发生的过程放在一起对照。目前平台已开放提交，后续榜单将随开发者参与持续更新。

文/广州日报新花城记者：阮元元
图/受访单位提供
广州日报新花城编辑：何波