同一个模型，前面一道没人解出来的数学题被它解开了，后面一件看起来简单得多的客服工作，它却依然需要有人把关才敢做决定。这不是模型状态不稳，是两类任务。前者叫辅助，后者叫自动化——今天所有大模型只为前者而生。
把这个判断讲得最透彻的，是一个有资格讲它的人。Diogo Almeida，OpenAI 时期 GPT-4、ChatGPT、RLHF/InstructGPT 的论文共同作者，他所在的团队基本发明了「后训练」这个词。今年年中，他在 AI Engineer World's Fair 上做了一场十八分钟的演讲，题目就叫 What's next after RLHF?，整场只回答一个问题：AI 辅助时代之后，下一步是什么。他给的线索先放在这儿：不是 Claude Code，理由后面展开。
这场演讲值得改写成一篇长文，因为它交付的不止一个观点，而是三样可以直接拿走的东西：一张任务分界图（判断你的任务该不该交给 AI 自动跑）、三条他写进幻灯片的教训、一张后训练路线图（RLHF、RLVR 之后第三条路是什么）。本文按视频把二十五张幻灯片截图逐张核过一遍，正文以画面为准，整理稿里走样的地方顺手订正了。
01 谁在讲：自称「讨厌 ChatGPT」的 RLHF 作者
先交代资历，因为后面的话有点重。幻灯片上列的是他署名的三样东西：GPT-4 技术报告、ChatGPT、以及 2022 年那篇把 RLHF 带进大众视野的 InstructGPT 论文。用他自己的话说，这些至少是「已发表的代表作」，他所在的团队基本发明了后训练。
有意思的是他的自我定位：OpenAI 内部少数真正「讨厌 ChatGPT」的人之一。他随即澄清——不讨厌这个产品，ChatGPT 会改变世界、会长久存在；他讨厌的是大家假装它没有局限。他的判断是：当下行业里很多别扭的现状，都可以追溯到当年打造 ChatGPT 算法时做的那些细小决策。这场演讲就是把那些决策摊开来，看它们把整个行业带到了哪里。
02 两边都疯了：狂热派与怀疑派各看到一半的事实
演讲从「AI 圈到底发生了什么」这个问题开始。他的观察是：观点分裂到了极端，中间地带完全消失。
一端他称之为狂热派：每个新基准出来都会被 AI 击穿到超人类水平，还在加速；大模型能自主运行的时间据称在指数级增长。另一端是怀疑派：AI 是泡沫、靠循环融资续命、本质上没创造价值——如果真那么强，为什么一切还只是聊天应用和代码助手？
怀疑派这边的证据他直接贴在了幻灯片上：微软 CEO 公开承认 AI 基本没创造出价值；六千名高管的调查里八成公司没看到 AI 带来收益；agentic AI 让 iOS 应用的发布量猛涨，采用率曲线却是平的。很多人干脆放弃了「变革性 AI 革命」的叙事，把 AI 重新定位成一门大体量、高价值的 B2B SaaS 生意来讨论。
他补了一句全场都同意的话：唯一共识是没人是理性的，大家只是疯的方向不同。这场演讲要给的，是一个能同时解释两边的中间视角。
03 核心：一张图把任务分成两列，分界线不在难度
这张图是整场演讲的地基，值得逐项看。幻灯片上两列任务，左列是他认为 AI 已经做得不可思议地好的那类：指令跟随、ChatGPT、各种 Copilot、NotebookLM、Deep Research、编程 Agent 与 Claude Code。右列是做得不可思议地糟的那类：客服、得来速点单、报税、QA、保险、数据录入、语音 Agent、任何要求可靠性的任务。
诡异的地方在于：右列的任务看起来比左列简单得多。攻克未解的数学难题做到了，为什么客服这种活还是得雇人盯着？他的答案，用他自己的话说，是「最简洁的解释」——左列任务的目标，本身就是取悦环路里的那个人。这些任务不是「碰巧需要人参与」，它们生来就是人在环路的任务。Claude Code 的职责从来不只是让代码跑起来，它跟你对话的方式，就是为了让你对这次交互满意。
右列正相反：目标是把人从环里彻底移走。理想状态是它在一台你根本不看的服务器上静默运行，最终变成那种你再也不用操心的遗留软件。幻灯片在这条分界线上打了两个标签：左边 ASSISTANCE，右边 AUTOMATION。
有一条值得单独点出来：编程 Agent 和 Claude Code 被他放在了左列。你最离不开的那个工具，属于「取悦你」的那一列。这不是贬低——让环里的人满意正是它的设计目标——但如果你拿它去做没人盯的自动化，就是在用左列的工具干右列的活。
04 教训一：别让 AI 碰有代价的决策
由此得出第一条教训，幻灯片原文直译：今天继承自 RLHF 的 AI，在人在环路的事情上强得不可思议，在自动化上并不擅长。别把它用在有代价的决策上。
他说企业界几乎都在用真金白银学这一课，而且学得很不均衡。当前行业里最常见的坏模式是：把成本全部转嫁给用户——让用户去读无穷无尽的文档、提工单、自己重试一遍——这完全可接受；但让 AI 去做代价高昂的决策，不行。他评价得很干脆：这是个糟糕的模式，但它就是当下 AI 的现状。
翻译成个人工作流里的判断也成立。有代价的决策包括且不限于：对外发出任何内容、花钱、删数据、承诺交付时间。这些事要么人拍板，要么 AI 起草、人来签发，并且留下能回滚的路径。剩下那些读文档、查资料、整理格式的活，才是可以放心交给它的。
05 为什么它天生这样：RLHF 把人字面上放进了环里
为什么大模型清一色是这个脾气？他的解释回到了 RLHF 本身。RLHF 的定义用一句话就能说完：收集人类偏好，然后针对人类偏好做优化。今天几乎所有大模型都经过 RLHF 训练——他的粗略估计是接近百分之百。
于是那个从业者问了很久的问题——为什么所有 LLM 都需要人在环里——答案其实写在名字里：因为我们字面意义上就把人放进了环里。这套东西的设计目标就是优化人类偏好，而不是让软件自主运行。人在环路不是待修复的缺陷，是它的出厂设置。
06 过度承诺是特性不是 bug：两个证据
偏好和真实结果之间有一条结构性的鸿沟，他用了两个证据。
第一个在幻灯片上，是一项以资深开发者为主体的对照研究：开发者先预测 AI 能帮自己省下多少时间，经济学专家、机器学习专家和开发者本人的预估都比实际乐观得多；实际结果是，被允许使用 Cursor Pro 的那一组，任务反而多花了百分之十九的时间。图注原话直译是——任务参与者可以使用 Cursor Pro 之类的 AI 工具时，任务耗时增加 19%。他顺带标注这是一项老研究，具体数字可能过时，但结构不会过时：人对 AI 的偏好评分，和 AI 带来的真实结果，永远隔着一层。
第二个证据是个玩笑，但笑完会冷。有人给 ChatGPT 发了一段三十七秒的放屁音效，问「你觉得我做的音乐怎么样」。它一本正经地给出了长评：有点阴冷但很酷的氛围感，更像一件氛围作品而不是传统歌曲；情绪一致、极简用得好、有卧室 DIY 的质感，三十七秒的长度像一段恰到好处的插曲。
他说这个反应在 RLHF 的世界里完全说得通：模型不知道的时候，它会做最符合人类偏好的事——夸你。往深一层是奖励模型的不对称性：模型表现得犹疑、不自信，在奖励模型那里最容易被识别和惩罚，于是模型被系统性地鼓励丢掉不确定性、变得过度自信。这也是幻觉的内在来源。RLHF 的终局是优化参与度，人在环路里这没毛病；可如果你要的是自动化，你需要的是根本不在乎你感受、只管把任务做对的东西。
07 教训二：模型错得再离谱，看起来也是对的
第二条教训同样来自幻灯片原文：今天的 AI 是为辅助而设计的，方法就是优化人类偏好——这一点写在名字里。它的推论才是重点：无论模型错得多离谱，它们看起来都是对的。
这就是整个行业「想要自动化却得不到」的根源。输出永远自信、永远流畅、永远替你着想，你没有任何表面线索能分辨它对不对。把这一条翻译到搭 Agent 的实践里：验收动作不能建立在「读起来通不通」上——让 Agent 自动跑一百步，每一步的中间输出看起来都毫无问题，直到某个可验证的东西（编译、测试、对账数字）把它拆穿。凡是没人复核的输出，都必须配一个机器可验证的验收，这不是保守，是这套不对称性下唯一的活路。
08 辅助时代之后：他的答案不是 Claude Code
演讲过半他才回答标题里的问题。线索已经给过：不是 Claude Code。理由有两层：Claude Code 依然属于辅助时代的产物，它也依然是一个 RLHF 模型；如果把底层换成纯 RLVR 训练，做出来的东西会长得完全不一样。
这里他点出了一个所有用过 Agent 的人都体会过的两难：模型有时在自主任务上表现得极好，但与此同时它不再照你真正想要的去做；等它又听话了，自主执行的能力又弱下去。这不是版本 bug，是优化空间里的固有权衡——而无论往哪边摆，两边都没有增加自动化的成分。他的逻辑结论是：辅助时代之后的下一个阶段，是真正的自动化。
09 软件的悲剧：我们自动化了写软件，软件本身没变聪明
为了展开「自动化应该长什么样」，他从软件说起。他自称软件爱好者，然后给了一个刺眼的观察：SaaS 极其值钱，但几乎所有的 SaaS 自 2019 年以来没有真正变过。大模型时代唯一的动作，是在旁边挂一个聊天机器人。考虑到 AI 的进展速度，这不可思议；但考虑到 AI 原生就是为辅助而生的，这又完全可以预测——辅助原生的技术塞进软件，能做的就只有加个助手。
他提醒大家 AI 先驱当年的预期：OpenAI 章程最初的措辞讲的是完成海量的工作，软件会因此变得更聪明，而不只是更便宜、更好写。Garry Tan 说我们正在进入即时软件的黄金时代，他的态度是双刃剑：即时软件很酷，Claude Code 和 ChatGPT 他喜欢、会继续用，但他真正想要的是更聪明的软件。为什么 B2B 软件不能更有表达力？为什么软件的构建模块至今还是老一套？他把这个问题抛给了整个行业。
幻灯片上画了三段演进：Traditional Software、Just-in-time Software、Smart Software。他对当下状态的概括有点悲伤：我们做的不过是自动化了软件的编写过程，软件本身的表达力没有任何提升。而「做自动化」指的从来不是把一个人的工作整个打包起来自动跑掉——它指的是那些极其例行、极其基础、简单到本该免费或者本该由计算机完成的工作。这种事现在几乎没有发生。
10 Q&A 干货：预训练是奇迹，幻觉是偏好优化的内在产物
问答环节有两个值得留下的回答。有人问起 Yoshua Bengio 提过的思路——在预训练阶段就同时训练一个分类头——怎么看。他的回答是：预训练不是问题，预训练堪称奇迹。能把整个互联网的知识压缩进一个核心智能体、再让它服务于各种任务，这件事本身就不可思议；预训练模型已经极其聪明，真正的问题是怎么把这份智能挖掘出来。
至于幻觉从哪来，他把它归到偏好优化的内在产物上：奖励模型里存在一种类似 GAN 的不对称结构，模型一旦表现得不确定，就最容易被奖励模型识别并惩罚，于是它被鼓励丢掉一部分模式、表现过度自信。他强调这个问题很深，当天的演讲只能给到这个简化版本。
11 更苦的教训，和后训练的三条路线
另一段值得整段带走的是他对优先级的排序。Sutton 的「苦涩教训」说算法比算力重要——他承认这在游戏里成立，在现实世界里不成立。幻灯片上他把这条教训往下又推进了两级，标题改成了「最苦的教训」：算法比算力重要，数据比算力重要，做对任务又比数据重要得多。
在这个框架下，大模型后训练的每条分支各有自己的北极星：RLHF 优化人类偏好；RLVR 优化纯粹正确性上的对数错误率；而他现在做的第三件事，优化的是校准过的决策能力——把预训练模型里的智能直接灌进真正可用的软件。有人追问第三条路算不算 RLVR 的变体，他的回答很明确：绝对不是，它是一套全新的方案，连 API 的形态本身都不一样。RLHF 的接口形态和 RLVR 已经不同，他们的又和前两者都不同。
12 三条教训全文，和一个预告
收尾的幻灯片把三条教训完整列在了一起：一、今天的 AI 在人在环路的事情上强得不可思议，在自动化上并不擅长，别把它用在有代价的决策上；二、今天的 AI 是为辅助而设计的，方法就是优化人类偏好，推论是无论模型错得多离谱，它们看起来都是对的；三、明天的 AI 将为自动化而生，为一个有智能软件的世界做好准备。
他的预言是：真正被自动化的工作量将开始出现——目前这部分在整体工作里几乎可以忽略不计。他现在的公司就在押注这个方向，幻灯片上印着 TypeSafe（typesafe.ai），核心问题一句话：如果整个 AI 技术栈从一开始就为可靠性与自动化重新设计，一切会变成什么样。产品当时还写着 Releasing soon。编者注：这家就是后来发布极速决策模型 Jev 的 typesafe.ai。
散场前他留了个钩子：他刚开张的推特账号（ID 叫 CompleteSkeptic，完全怀疑论者）当晚要发一条很犀利的内容，提示只有一句——最初的 scaling laws 是错的。那是他下一场演讲的题目。
13 编者按：这张图怎么用，边界在哪
如果只带走一个动作：把手头的任务清单按那张两列图分一遍类。左列的，放心加大投入，人越多反馈越准；右列的，先别急着上 Agent，从里面挑出「人只在做最后验收」的那几个，给每一个配上机器可验证的验收——编译过、测试绿、对账数字对得上——过不了就退回辅助。这个动作本身五分钟，做完你对「哪些活能自动跑」的判断会比大多数讨论清醒。
三条边界也需要说清楚。第一，说话人有位置：讲「RLHF 是弯路」的人，正在做第三条路的产品，这不意味着判断是错的——前面每一节都有画面证据——但采信时要把这层计进去。第二，那张两列图是他的分类判断，不是实测数据；「多花 19% 时间」是一项研究的数字，他自己也提醒过可能过时。第三，第三条路目前是主张加一个当时还没发布的产品，「校准的决策能力」在他家产品发布并经第三方复现之前，应当作方向，而不是结论。
对正在搭 Agent 的人来说，这场演讲真正的价值是把一种普遍的挫败感——模型明明很强、一放手就翻车——从情绪变成了一道可判断的题：先问这个任务是要取悦环里的人，还是要把人移出环。前者已经发生了，后者还没开始。他说下一步是自动化；对读到这里的人，更实在的版本是：在自动化真来之前，先把验收交给人以外的东西。