一间初创公司,凭可承受的 token 开销,能做出过去要一百人的优秀工程团队才做得出的东西——这是 Sam Altman 在斯坦福这场讲座开场抛出的判断。但这只是起点,值钱的是后面二十多分钟:在「要不要把事情做大」这道题上,该怎么判断、会在哪里被劝退、又是谁在拦着你。

讲的人是 OpenAI CEO Sam Altman,场合是斯坦福的一场学生讲座加问答,全程约二十六分半,视频由 X 用户 Marco 发布。主持人的提问与他的回答在文中分开归属,所有事实只取自这场讲座本身。全文带走四样东西:三条规模化经验、一段 ChatGPT 被发现的完整复盘、两条算力时间表、一个被点名低估的方向。

01 起点变了:一百人团队的活,一间初创公司就能干

开场判断的完整版是:token 成本可负担之后,一间初创公司能承接的任务野心、迭代速度、并行事务数量,都与从前根本不同。主持人顺势问:期末该让学生攻克什么问题?他的回答很直接:给学生出题目让他们去攻克,这种做法从来就不奏效。好到他本人都能想到的点子,对很多人同样显而易见。OpenAI 创立时,全世界研究通用人工智能的团队「慷慨地说也就那么几个」,那才是值得找的问题。

他进一步判断:今天一定还有某类事情,在自动化编程时代之前根本不可能实现,眼下还不显眼,但很快会成为数万亿美元的市场,而全球只有四家公司在攻关。他不知道那是什么,「你们当中的人发现它的可能性,远高于我」。

02 规模:一条没有理论、但屡试不爽的观察

整场讲座的核心概念只有一个:规模(scale)。他把观察原样交出,也把局限原样交出:找不到让自己满意的理论来解释,建议别人遵循时甚至有点忐忑,但经验上屡试不爽——他职业生涯里见过所有真正有意思的现象,背后都与两件事有关:规模到了一定程度,会长出小规模完全没有的新特性;规模持续给回报的程度,远超共识预期。这也不止作用于模型的规模定律:把更多聪明人聚在一起研究同一个问题、公司层面的规模经济,都是同一件事的变体。

03 经验一:规模会长出小规模没有的东西

他真正想通这一点,是在 Y Combinator 做孵化器的时候。当时所有人都说 YC 太大了,应该缩回每期十家公司的「黄金年代」,许多非常聪明的人都持这种论调——听上去还有诱惑力,因为工作量会少得多;背后的逻辑是,最好的公司一眼就能看出来,剩下的不过是噪音。

回头看,YC 真正的魔力来自同一批次公司之间形成的网络效应——一种只有在那个规模上才会涌现、此前没人发现过的属性。从没有人以那种方式、那种规模投资过创业公司,规模缩到十分之一,这个现象根本观察不到。

04 经验二:小规模跑通了,就再推大一级

由此他提炼出全场最可迁移的一条经验规律:一件事在小规模上已经以有趣的方式跑通、又能推到别人没试过的更大规模时,多做一次「再推大一级」的尝试,通常是正确选择,而这恰恰是大多数人投资不足的地方。

反对的声音往往来自最聪明的人。当年决定扩大模型训练规模时,业内绝大多数顶尖人才的判断是:「规模变大效果更好」已经证明过了,继续做大没有新的科学价值。他也见过许多创始人以说不清、道不明的理由拒绝扩大业务;而回看那些确实扩大过规模的案例,几乎总能发现有意思的东西。

05 经验三:规模化是系统问题,把阻力拆开逐个解决

人们不愿扩大规模的头号原因很实际:规模越大,问题以越来越快、不可预测的方式接连爆发,做大之后的东西「总是有点坏」。你周围也永远有聪明人在劝:别太有野心,别贪大,先在小规模上试试。

他的解法是把它当系统工程问题逐项拆解。以 OpenAI 早年把大模型训练扩展到一万到十万张 GPU 为例:没人想过要在那种规模上跑一次训练,这需要一整支工程人才梯队;要投入多少资金、何时才能形成一门生意;这种风险怎么衡量才算合理——此外还有一层文化阻力,研究员会问,为什么把全部算力押给一个项目,而不是分摊给大家、多出成果?他说几乎所有规模化领域都会遇到这类阻力,办法只有一个:把吓退人的原因拆成一个又一个具体难题,再逐个解决。

06 最难重构的是人:三个清晰,加一场公开押注

主持人此时追问:能像 OpenAI 这样一次次扩展全新系统的团队,全世界寥寥无几;看起来最难重构的不是系统,而是系统里的人。他同意,并给出应对的三件事:一个清晰的目标,一条清晰的达成路径,一套清晰的决策方式,包括沿途如何下判断。

回到扩大模型规模那个例子:当时很多人说行不通、议程应该更多元。可一旦公开决断——我们就押注深度学习的规模化,错了就失败——并讲清为什么这样押、成了世界会变成什么样,这种宣言本身就具有非常强的推动力。还有一个进化留下的短板:人类天然不擅长理解指数,让别人真正相信规模化法则、营收、组织复杂度会指数走,需要花大量时间从第一性原理反复推演,这功夫省不掉。

07 ChatGPT 诞生记(上):把产品发现外包出去

主持人先给出框架:很长时间里,研究界的心智障碍是「这些模型到底有什么用」,像先有锤子再找钉子;后来 ChatGPT 证明了聊天是消费端的杀手级应用,再过几年,编程被证明是企业端的杀手级应用——这两次有什么异同?

Sam 的回答是一条完整的链。输入:手里已有 GPT-3,急需变现,因为后续要把规模扩到价值数十亿美元的算力集群。操作:GPT-3 演示很炫,但团队实在想不出该做什么产品,试了几个方向都没成——那就开放 API,让别人替自己想。2020 年夏天上线,起初几乎无人问津。输出:约一个月后,几位开发者在 Twitter 同一天晒出用 API 做的酷东西,突然爆火。验证:那时模型质量其实很差,热度远超实际能力;商业上真正跑通的只有文案生成一项,规模有限。

08 ChatGPT 诞生记(下):增长凶猛而产品还不够好

关键的转折藏在使用数据里:开发者自己摸索出了写一段提示词、跟模型对话的玩法,很多人拿 API key 纯粹在聊天。团队其实已经训练完 GPT-4,但手里另有一个 3.5,配合新摸索出的后训练方法,指令跟随和对话更好,于是先发 3.5。当时 API 年营收只有一两千万美元量级,按 YC「看用户热爱什么就做什么」的原则,他们决定自己做聊天产品——内部并没有预期大爆,定位更像研究演示,目的是说服第三方去做聊天产品、为 API 付费。

结果是病毒式传播。他援引从 YC 学到的经验:增长凶猛而产品还不够好,说明手里握着确定性爆款。最初几天流量每天冲高又回落,外界反复说这只是一轮炒作;到第四天、第五天,他确认了:这是杀手级产品。第五天把相关人员紧急集结,同时建一家公司和一款产品,随后约两个月疯狂扩容;商业模式留到以后,先收费以覆盖算力账单。这段故事的意义,用他的收尾原话说:世界上存在大量非常有用的场景,只是很多人没能跨过那道启动成本去发现它们。

09 Codex 与执行器:代码操作计算机,机器人操作物理世界

ChatGPT 出现之前,OpenAI 的原计划其实是全力投入编程方向。支撑判断的是一个内部信念:写代码是模型操控计算机世界的方式,机器人是模型操控物理世界的方式——模型足够聪明,再加上这两种执行能力,智能就能在现实世界里替你完成实际的工作。Codex 花了相当长时间才到位;他的口径是,今年年初已经相当不错,真正的转折点是 5.5 版本出现,那之后用户开始用它做出不可思议的东西。

10 管线与两条时间表:一次迟早要来的重写

主持人问:预训练、中期训练、后训练、强化学习与监督反馈这条能力管线,会大体稳定,还是会经历一次重大重写?他确认这就是当前的管线,也预期未来还会经历一次重大重写,只是不知道什么时候、以什么形式。他顺带说了一句很诚实的话:这套流程刚好以这种方式拼到一起,并不完全像那个最优解。

时间表是他主动给出的内部目标:在今年九月之前,把相当于五十万块 A100 的算力当作「AI 研究实习生」来使用;到 2028 年 3 月,再往前推一步,做出端到端的、极具天赋的研究员,能独立构思出全新的架构。他的判断是:凭现有的流程与架构,AI 最终能跨过那道门槛,真正完成不可思议的工作。

11 类比的边界:先想想怎么「卖夜晚的光」

主持人提醒了一个容易忽视的问题:类比在跨域传播时,会因「翻译失真」让错误层层叠加;「把算力当 AI 研究实习生」这个比喻在硅谷课堂里好用,推广到全球,不具备背景的人就会用错误的方式去类比这些模型。

Sam 的应对是往历史里找锚点:当下正在发生的事,是创造一种全新的公共事业——像电、互联网、自来水,这种事极少发生,没有现成案例可抄。他前段时间在读电力公用化的历史:早期电力公司并不直接卖电,因为没人知道电是什么、听着还吓人;他们真正兜售的是「夜晚的光」——用户能立刻感知价值的中间产物。如果智能真会成为公共事业,OpenAI 可能推出类似 token 订阅的产品;但现阶段把它类比成「我们在卖智能」并不合适,用户 get 不到——这一代的「夜晚的光」是什么,他也不知道。

12 token 层:用户不关心芯片

主持人点出另一层区分:黄仁勋谈公用事业时指的是算力(芯片),主张斯坦福整合预算、把算力当公用事业采购给全校;Sam 指的则是智能(token)。他的回应是:作为消费者,无论企业还是个人,你更多会以 token、甚至更高一层的抽象来思考——不在意硬件部署在哪、用什么芯片,底层会被抽象掉;你关心的是能不能大量调用、便不便宜、好不好用。就像付手机账单时想的是通话时长和流量,而不是基站和接入网。等未来每人都有一个持续运行的个人智能体,计价的抽象层可能还会再升一级。

13 他点名的方向:推理栈

讲座末尾的即兴问答里,主持人介绍了这门课的期末项目「一人前沿实验室」:学生模拟以个人身份运营一间前沿实验室,手头有 Cloudflare 的几十万美元额度和一部分 OpenAI token。问题抛给 Sam:如果你是学生,选什么课题?

他的答案直接可用:非常多聪明人在钻研训练方案,无论学生做什么,前沿模型都会持续快速迭代,「很快会有不可思议的模型问世」;但如何把强大的智能便宜地、大规模地分发出去,投入远远不够。如果是他,会去做推理栈这一层,并相信所有前沿实验室未来都必须在很大程度上转型为推理公司。

14 对「LLM 是死胡同」:让数据回答

问答第一个问题就是怀疑论:怎么看「大语言模型是死胡同」?他的回应分三层。能力现状:模型在某些方面已经远超人类,在需要长期规划、高度判断力和长周期信号的任务上,又明显比人类差。新事实:就在讲座前一天,OpenAI 的一个模型发现并证否了一个长期悬而未决的数学猜想——许多顶尖科学家长期研究过的难题,此前还有很聪明的人公开宣称这类事不会发生;一批数学家因此惊呼,数学是不是已经终结了。趋势判断:模型还会继续规模化,最终在多大范围的任务上超过人类有待观察,但他猜那个范围会非常大。

他还补了两刀。整个领域曾被一代科学家拖慢——他们对「规模化不能带来什么」过于确信;真正推动进步的,是看着曲线说「一直在漂亮地延续,那就继续做」的人。世界模型显然也重要,机器人等方向确实需要它,但当下押注「大语言模型规模化无法继续」,在他看来是非常错误的判断。至于喊了很多年「行不通、是骗局、要完蛋」的声音,他说自己连「我早就说过」的得意都没有了:他们待在原地反复重复,而数据已经明显站在自己这边;面对数据反复否定还在重复,某种意义上是一种疯狂。

15 编者按:身份陷阱,双向适用

整场讲座里最值得单独摘出的,是他在结尾对自己阵营也适用的提醒:如果你把身份认同绑在「某件事一定会成功」或「一定不会成功」上,当实证结果否定你、而你又太执着于身份时,就无法放手,也看不清事实。对乐观派和怀疑派,这条都成立——包括对他自己给出的那两张时间表。

采信边界也要摆明。三条经验是他的口述归纳,没有理论支撑,他自己也说不清为什么成立,且以「小规模已跑通」为前提。两条时间表与「证否猜想」均为单方陈述,本文未独立核实;「今年九月」的目标在讲座时点尚未到期。若只带走一个动作:挑一件你已经在小规模跑通、又确实没人推到过更大规模的事,认真评估一次「再推大一级」——按他的说法,这恰是大多数人投资不足的地方。