具身智能的名词每几个月换一批：VLA、世界模型、遥操作、第一人称数据、神经仿真器。难的不是记住它们，是分清楚哪些是终局形态、哪些是过渡期的权宜之计。要判断一个机器人项目值不值得跟，你手上得有把尺子。

这场演讲给的就是那把尺子。一句话先摆在这：机器人的终局只有两道题，模型吃的是名词还是动词，数据来自机器人还是来自人。 今天大量投入卡在同一个地方，把过渡态当成了终局。

讲的人是 Jim Fan，NVIDIA 具身智能研究小组负责人，场合是红杉资本的 AI Ascent，栏目名写在幻灯片上是 Physical AI，全程二十分钟。本文按现场二十三张截图逐张复核了一遍，也订正了几处流传版本与画面不符的地方：第一人称采集系统的真实署名、缩放定律那张图的两个坐标轴、被当成"训练配比饼图"的那张机制图，以及终局技术树上被整段漏掉的一层节点。

Jim 的视角有点特殊。2016 年夏天他在 OpenAI 实习，亲眼看着一个穿皮夹克的人抛出一块巨大金属托盘，上面刻着"献给 Elon 和 OpenAI 团队，献给计算与人类的未来，我向你们呈现世界上第一台 DGX-1"。他作为一名称职的实习生冲上去在托盘上签了名，旁边还有 Andrej Karpathy 的签名。那块板现在收藏在计算机历史博物馆。他当时并不知道自己签的是什么。

后来发生的事，他引了 Ilya Sutskever 一句话来概括：如果你相信深度学习，深度学习也会相信你。

01 终局只有两道题

Jim 把整场演讲归结为两件事：模型策略与数据策略。

幻灯片左右对分，左边一格点亮着 Model Strategy，右边一格压暗，写着 Data Strategy。这张图值得先记住，因为后面所有内容都挂在这两格上——每一项新技术，都可以先问它在修补哪一格。

这两格的解法，来自一次公开抄作业。

过去六年大语言模型走了三级台阶：GPT-3 的预训练，靠预测下一个 token 学会了语法、语言形态和思维展开的方式；2022 年的 InstructGPT，用监督微调让模拟能干有用的活；再是 o1 的推理，用强化学习越过了模仿学习的天花板，并让自动化研究第一次形成闭环。Jim 说所有实验室都进入了最终 Boss 战，而语言模型研究者正在享受一生中最盛大的派对。他很嫉妒，于是决定把这份作业原样抄到机器人上，起名叫大平行。

抄法是一一对应的：不再预测下一个字符串，改成预测下一个物理世界状态；再通过动作微调，把这份模拟里对真实机器人有意义的那薄薄一层对齐到现实任务上；最后一公里交给强化学习。

两张幻灯片摆在一起，能看出一处转述里常丢掉的细节：每个阶段除了名字，还配了一个加引号的动词。语言模型那条轨道上，绿框 Pre-Training 配的是"Simulating"；机器人那条轨道上，紫框 Physical RL 配的是"Surpassing"。两条轨道用不同的描边颜色并排，共用同一套动词。名词是阶段划分，动词才是他想让人记住的东西。

需要说清楚的是，大平行首先是一个赌注，不是一个已完成的推论。它成立的前提是：物理世界也能像语言一样，被"预测下一个状态"这件事学出来。接下来三节都在给这个前提找证据。

02 模型策略的第一道坎：VLA 其实是 LVA

过去三年，机器人策略被 VLA（视觉—语言—动作）模型主导。做法是假设预训练由视觉语言模型完成，然后在上面嫁接一个动作头。

Jim 的判断是：这些模型的真实名字应该叫 LVA，因为绝大多数参数都花在了语言上。 语言是一等公民，视觉和动作排在其后。这样的参数分配决定了它擅长什么——编码知识、认得名词；也决定了它不擅长什么——物理和动词。用他的说法，重的地方重错了。

他举了最初那篇 VLA 论文里自己最喜欢的例子：把可乐罐移到泰勒·斯威夫特的海报旁边。模型此前没见过泰勒·斯威夫特，照样做对了，泛化能力是真的。

但这个例子证明的是模型认得人，不是模型懂得动。

这不等于 VLA 没用，它的问题是预训练目标错配：预训练出来的是名词知识，而机器人真正缺的是动词。要补动词，得换一种预训练数据。

03 物理是从像素里长出来的，不是被编码进去的

第二种预训练来源，Jim 说他本以为会是某种辉煌的东西，结果是互联网视频——他自嘲地称之为"AI 视频垃圾"，比如监控摄像头里弹班卓琴的猫。

没人把这些当回事，直到一个观察成立：这些视频模型在内部学会了模拟下一个世界状态。

这是全场最硬的一张证据。四宫格全是 Veo-3 的生成结果，右下角署名 Wiedemer et al. 2025。上排是木桌上一只盛清水的玻璃碗，左格里一枚蓝色瓶盖浮在水面，右格里它已经沉到碗底；下排是一段大理石回廊，左格地面立着一颗镜面金属球，右格拉近看，球体映出了整条拱廊的弧线。

浮力、反射、折射，外加重力与光照，没有一条是人手写进去的。物理规律是通过大规模预测下一团像素自发涌现出来的。

视觉规划也一样从中长了出来。Jim 现场放了 Veo 解迷宫的片段：它在像素空间里向前运行模拟来找出路。有一格他特别喜欢，需要眨眼就会错过——Veo 察觉到，如果没人看着，几何定律是可选的。他把这条戏称为"我不在场定律"。

这件事对数据量级的意义比对物理本身更大。如果物理可以从视频里学，机器人的预训练素材就从"机器人采的数据"变成了"人类拍的视频"，两者之间差着好几个数量级。

04 会做梦不等于会干活

世界模型怎么才能真的有用？答案是对它做动作微调：把全部可能未来态的叠加，坍缩到对真实机器人重要的那条狭长切面上。

由此有了 Dreamer——一种新形态的策略模型，先在想象里向前推演几秒，再据此动手。它成立靠一个结构上的巧合：运动指令是高维连续信号，和像素别无二致，所以可以跟视频一起被渲染出来。Dreamer 联合解码下一时刻的世界状态与下一时刻的动作。

画面里一条白色机械臂握着蓝色锅铲在铁锅里翻炒蔬菜块，左上角字幕写明这是训练中未见过的任务：用锅铲炒菜。左下角标着全自主、八倍速。未见过的动词也能上手，这是"零样本"三个字在机器人身上少见的具体形态。

更值钱的是它顺带给出的一个诊断通路。机器人执行时，可以把它"梦到"的画面同步可视化出来，两者高度相关：视频预测准确，动作就成功；视频出现幻觉，动作就失败。策略的失败因此可以被看见，而不是只能被统计。 大多数机器人策略做不到这一点。

边界也说得很清楚：Dreamer 做不到在所有任务上百分之百鲁棒，它现在大概相当于 GPT-2 的位置，在每种情形下努力把握运动的整体形状。

这类模型被命名为世界动作模型，也就是 WAM。Jim 为 VLA 默哀了片刻，说它曾很好地服务过我们，然后宣告 WAM 时代开始。

05 数据策略：遥操作是黄金时代，也是天花板

模型那格讲完，换到数据那格。

左边那位背着双肩包、戴着黑色遥操手套站在推导满满的白板前的，是 NVIDIA 首席科学家 Bill Dally。Jim 的玩笑是：考虑到他的薪酬水平，这大概是数据集里有史以来最昂贵的一条遥操作轨迹。右边是人形机器人在围挡工位上操作桌面物件。

过去三年，遥操作是机器人数据采集的绝对主流，称得上黄金时代：VR 头显、被压到极致的流式传输延迟、以及那些看起来像中世纪刑具的机械外骨骼。工业界为此投了很多钱，也吃了很多苦。

但它有一个改不掉的物理上限：每台机器人每天不超过二十四小时。 而且这只是理论值，实际算下来大概三小时，还得看机器人当天发不发脾气。

这条上限的真正麻烦在于它挂在哪里。遥操作的问题不是慢，是它的产能被写死在机器人台数上。 想要十倍数据，就得买十倍机器人。

06 让机器人退出数据回路

破局的思路简单得有点狡猾：直接把机器人的手戴在自己手上。

这套方案叫 UMI，通用操控接口，署名 Chi et al. RSS 2024。画面里一名男子在厨房水槽边手持白橙配色的手持式夹爪，前端带一颗广角相机；另一名男子双手各持一只同款夹爪，面前摊着一条毛巾。操作员戴着机器人的执行器，以人的方式直接采数据，机器人本体的其余部分退出了控制回路。

Jim 把它称作机器人数据领域最伟大的论文之一。一个可验证的旁证是它的产业外溢。

两款商业化衍生品并排：左边黑黄配色的两指佩戴式夹爪，来源条写着 Generalist，2026 年 4 月的福布斯报道；右边米白与木色的多指佩戴式夹爪正往盘子里摆食物，来源是 Sunday Robotics。这两家就是 UMI 孵化出的独角兽。顺带订正一处：转写版本里把其中一家听成了"Joles"，画面上的来源条写的是 Generalist。

团队自己又往前走了一步，做出 Dex-UMI：一款与机器人五指手一一对应映射的外骨骼，省掉了传统遥操里精确对齐的繁琐步骤。对比演示很直白——穿戴外骨骼直接采集，比资深博士手动操控遥操手柄快得多，后者不但慢，成功率也有限。

真正的突破是中间那段完全自主的策略回放：它完全基于外骨骼采集的数据训练，一条遥操作数据都没用。 二十四小时的诅咒就是在这里被打破的，机器人不再需要参与数据采集的闭环。

代价还在：外骨骼和数据手套仍然笨重，仍然有侵入性。

07 FSD 时刻：让数据采集退到背景里

判断下一步该往哪走，Jim 用了一个每个人都有体感的参照。

任何一个开过特斯拉、坐过 Waymo 的人，其实都在为全球最大的物理数据飞轮供货，而整个过程完全无感——数据上传像背景程序一样静默运行。相比之下，穿戴外骨骼远不如开车上班自然。所以机器人需要一个 FSD 等价物：数据采集必须退到背景里去，才可能覆盖人在各种生活场景与经济劳动中的灵巧操作。

团队因此全力压上人类第一人称视角视频，配上手部位置追踪与密集语言标注。

这张图把两件事同时摆了出来。左半是绿色点云重建的房间，中央一副手部骨架被彩色关节点标出；右半是第一人称实拍，双手正把杯子放进绿色收纳箱，右侧一串橙紫渐变圆点是手腕的运动轨迹。底部那条时间条把十七秒切成五段，每段挂一句自然语言指令：放好绿色物品、把杯子放进绿箱、擦掉洒出的水、把箱子拿到厨房水槽、洗净杯碟。右下角署名 EgoVerse，Punamiya et al. 2026。

专名这里要订正一次：转述版本普遍把这套采集系统写成 EgoScale，而画面上的署名是 EgoVerse。口述里念得含糊，以画面为准。

配方本身很极端：预训练用了两万一千小时野外真实场景的人类第一人称视频，零机器人数据，训练目标只是预测手部关节与腕部姿态；动作微调阶段只加了五十小时高精度动捕手套数据，外加四小时遥操作，后者占整个训练混合不到千分之一。合起来，九成九以上的训练数据来自人类第一人称视频。

这张图常被当成"训练配比饼图"引用，但画面上既没有饼图也没有任何百分比。它上半是一个八宫格：四格是机械双臂配银色灵巧手在木桌前作业，四格是真人双手在同一张木桌前作业，桌面上散着面包、水果、玩具、纸笔，两边的布置与相机视角几乎一致；下半是灰色 Pre-Training 经紫色箭头指向高亮的 Action Fine-Tuning。

这才是 Ego-Exo 三个字的实际含义：第一人称的人与外部视角的机器人，在同一批场景上对齐。 两阶段串行，第二阶段被高亮，说明当下的重点在微调那一头。它比一张比例饼图有信息量得多。

08 灵巧操作也有自己的缩放定律

这套配方训练出来的东西能干什么，现场给了直接结果。

它是一个端到端策略：摄像头像素直接映射到二十二个自由度的高灵巧机器手。画面里一台戴着 NVIDIA 字样黑帽的人形机器人坐在木桌前分拣扑克牌，右下角标注是自主策略回放、八倍速。同一套策略还能操作注射器推注液体，Jim 顺口提了一句，这或许预示着未来家里会出现机器人护士。对于叠衬衫这类有多种策略的任务，模型在测试时只需要一次示范就能学会。

这篇工作最引人注目的发现，是灵巧操作也有自己的神经缩放定律。这里有一处转述失真值得订正：常见版本写成"预训练时长与最优验证损失呈 log-linear 关系"，而画面上的两个坐标轴分别是 X 轴的训练步数（以千步计，从零到十万） 和 Y 轴的人类验证集均方误差（从 0.013 到 0.031）。是训练步数，不是时长；是人类验证集的 MSE，不是泛指的最优验证损失。

这条关系比语言模型第一篇神经缩放定律论文晚了整整六年才出现。它重要不是因为曲线好看，而是因为缩放定律把"再投多少算力换多少能力"变成了可以提前算的账，这是敢加码的前提。

基于以上，Jim 给了几条预测：未来一到两年，遥操作数据的使用量会持续下降到几乎可以忽略；针对不同硬件与使用场景定制的可穿戴设备会组成一个采集矩阵；机器人训练的主粮将是第一人称视频。他把这些统称为传感器化人类数据，并给了三个量级做对比：遥操作可扩展性最差，可穿戴设备能到数十万小时，而第一人称视频一旦启动 FSD 式飞轮，一年内轻松累积一千万小时。

这三个量级只有口述，现场那张坐标图当时还是一副空轴。

09 外环：环境不够用，就把世界搬进模型

数据策略还有一个外环没讲：环境。前沿实验室如今都在花大钱采购数以百万计的编码环境做强化学习，机器人同样急需规模化的环境。

真机上跑强化学习是可行的。

两只黑色机械夹爪正把一块显卡插进主板的 PCIe 槽，左上角计时器停在 41 分 15 秒，下面标着循环计数 0/24，左下角的侧视小窗能看见一块 MSI 显卡与主板并排，署名是 Probe, Learn, Distill，Xiao & Lin et al. 2025。实验室里用强化学习把部分任务的成功率推到接近百分之百，机器人可以连续执行数小时。Jim 说看它们自己装 GPU 有点疗愈。

但这条路走不到一百万个环境——按老办法，一百万个环境意味着一百万台机器人。

第一个解法是把真实世界搬进仿真器。用 iPhone 拍一张照片，过一遍 3D 世界扫描管线提取出所有物体，再自动在经典物理仿真器里重建，扫描之后这些物体依然可交互；然后用被称为"数字表亲"的变体在仿真里做无限增广。iPhone 就此变成一台口袋世界扫描仪。Jim 把这条流程叫做 real-to-sim-to-real。

但它仍然依赖经典图形引擎。于是有了 DreamDojo：把视频世界模型改造成完整的神经仿真器，输入连续动作信号，实时输出下一帧 RGB 与传感器状态。

画面是车间工位的第一视角，两条白色机器人手臂伸向桌上的纸箱，箱里装着蓝绿两只塑料杯，底部有一条半透明的动作信号条。左上角标着被仿真的机体型号：Unitree G1。

这一帧里没有一个像素是真实的，连机体是什么型号都是生成出来的。DreamDojo 纯靠数据驱动学会不同机器人的力学机制，全过程没有物理方程，也没有图形引擎参与。

三样东西合起来就是新的后训练范式：少量真机工位，一批跑世界扫描的图形核心，加上跑世界模型的重推理算力。Jim 给的公式是算力等于环境，环境等于数据。他补了一句"买得越多，省得越多"，并声明这条已经过他老板批准。

10 终局技术树：三项成就，六个被漏掉的节点

Jim 说他喜欢把自己的研究当成在文明技术树上解锁成就，机器人还剩三项待解锁，解完他就可以退休了。

这是全场信息密度最高的一张，也是转述里被压缩得最厉害的一张。它是一整套《文明》风格的技术树界面，底部标着第 110 回合。三个主节点从左到右：物理图灵测试，进度条已经走了大半；物理 API，中心一枚写着 API 的齿轮，四周环绕无人机、服务器、卫星天线、实验室机械臂；物理自动研究，一只机械手托着发光的晶体。

被文字版本整段漏掉的是下面那层。每个主节点各挂两个子节点：物理图灵测试下面是 The Great Parallel（已点亮）与 The Great Flywheel；物理 API 下面是熄灯工厂与自动驾驶科学实验室；物理自动研究下面是自动材料与 AutoBot。

其中"大飞轮"这个名字在整场口述里一次都没出现。画面也没解释它是什么。但它与"大平行"并列挂在同一个主节点之下，这个位置本身可以提供一个读法：大平行是路径，抄 LLM 就能得到；大飞轮是循环，得自己跑起来。 前面九节讲的模型与数据，恰好分别落在这两个子节点上。这是一种解读，不是画面给出的定义。

三项成就本身，Jim 给的口径是这样的。

物理图灵测试：在广泛的活动里，你分不出一件事是人做的还是机器人做的。度量方式写在字幕条上，单位能量输入换单位劳动产出。他当时放的对照画面是一台四仰八叉倒在木地板上、身边散落一地食物碎屑的人形机器人，自嘲说就凭这姿势，我们任重道远。他估计还有两到三年。

物理 API：整队机器人可以像任何软件一样用 API 和命令行配置，将来由智能体编排。做到这一步就有了熄灯工厂——本质上是原子打印机，输入设计文件，输出完整组装好的产品，全程无人；还有把化学、生物、医学发现自动化的湿实验室。

物理自动研究：机器人开始设计、改进并制造下一代的自己，远超人力可及。对应这一格的字幕条是"能量输入，下一代机器人输出"，与图灵测试那句"能量输入，单位劳动输出"完全同构。这句对仗在口述版本里没有留下来。

时间判断他给得很明确：从 2012 年 AlexNet 第一次前向传播、那个只能勉强分辨猫狗的模型，到今天讨论智能体式自动研究，正好十四年；再加十四年是 2040，而 2026 恰好落在两者正中间。技术发展不是线性而是指数的，所以他以 95% 的把握断言，2040 年抵达这棵技术树的顶端，而那时在座的人仍正值壮年。

结尾他把开场那句 Ilya 的话翻了过来：如果你相信机器人，机器人也会相信你。

11 把这把尺子对到你自己的项目上

这场演讲真正能拿走的不是结论，是一套判断次序。压成一句：看一个机器人项目，先问它在两个战场上各站哪一格——模型学的是名词还是动词，数据的上限挂在机器人台数上还是挂在人身上。

展开成可以逐条对照的五个问题：

1. 你的预训练目标在预测什么。 预测符号和预测世界状态是两条路。预测符号的那条，擅长的是知识与名词；机器人缺的是物理与动词。
2. 你的数据上限写在哪个变量上。 挂在机器人台数上，天花板是每台每天二十四小时，实际三小时；挂在可穿戴设备上，能到数十万小时量级；挂在人的日常活动上，量级才可能再跳一档。
3. 失败能不能被看见。 Dreamer 那条"视频准则动作准、视频幻觉则动作失败"的相关性，价值在于它让策略失败变成可诊断的，而不是只剩一个成功率数字。你的系统有没有等价物。
4. 环境数量能不能脱离硬件数量增长。 三档解法依次是真机强化学习、扫描重建加数字表亲、神经仿真器。第一档撞机器人台数，第二档撞图形引擎，第三档还很新。
5. 你能不能画出自己这条线的缩放曲线，并说清两个轴。 注意这里最容易含糊——那张图上的轴是训练步数与人类验证集 MSE，不是泛泛的"投入"和"效果"。说不清轴，就等于还没有缩放定律。

按时间摊开，Jim 给的分期表是这样的。请把它当作一位研究者的判断读，不是当作已经发生的事实。

最后是这把尺子的适用边界，用之前得先认。

它的地基是一个尚未被证明的前提。 "物理可以从像素预测中涌现"目前的证据是 Veo-3 那四格与 Dreamer 的实机执行，是很强的迹象，不是已被确立的定律。整套大平行成立与否，压在这一条上。

几个关键数字没有图表支撑。 两万一千小时、五十小时、四小时的配比，以及遥操作、数十万小时、一千万小时这三个量级，都只有口述；现场对应的两张坐标图在截图里都还是空轴，缩放曲线本身并未当场画出。

缩放定律管的是验证损失，不是任务成功率。 从人类验证集 MSE 外推到"机器人能不能干成这件事"，中间还差一步，演讲没有给出这一步。

说话人有位置。 这套判断由一位身处 NVIDIA 的研究者给出，而他的结论恰好是算力等于环境等于数据、买得越多省得越多。这不意味着结论是错的——前面每一节都有画面证据——但采信时要把这一层计进去，他自己在台上也是拿这句话开玩笑的。

演讲最后一句值得原样带走。Jim 说我们这一代人出生得太晚，错过了探索地球的黄金年代；出生得又太早，来不及去探索星辰；但刚好赶上了解决机器人这个命题的时代。如果他给的两道题是对的，那么这一代人要回答的，就只是这两道题。