听完 Ilya 播客,AI 时代,拼的是快速学习(泛化)与品味(情绪)
谁是 Ilya Sutskever?
如果 AI 革命有一位精神领袖,那一定是 Ilya Sutskever。
作为 OpenAI 的联合创始人及前首席科学家,过去十五年深度学习历史上几乎所有里程碑事件的背后核心推手。从 2012 年引爆深度学习革命的 AlexNet,到战胜人类围棋冠军的 AlphaGo,再到开启大语言模型时代的 GPT 系列,Ilya 的一直走在最前面。
他不仅是工程天才,更是那个“看见未来”的人。在所有人都不看好神经网络的年代,他坚信扩展(Scaling)的力量;在 ChatGPT 席卷全球的时候,人们会觉得他会继续带着 ChatGPT 走向辉煌,他却选择急流勇退,创立了 SSI (Safe Superintelligence),将目光投向了更遥远的终极目标——安全的超级智能。
听 Ilya 讲话,听到的不是商业路演,而是对智能本质的哲学审视。
当下的 AI 现状:繁荣下的隐忧
我们正处在一个奇特的节点。过去几年(2016-2024),被 Ilya 称为 “扩展时代”(Age of Scaling)。
在这段时间里,行业的主旋律简单而粗暴:堆算力、堆数据。只要把模型做得更大,即使不改变算法,奇迹也会发生。这种策略带来了 GPT-4 这样的惊艳成果,但也让整个行业陷入了一种思维定势——似乎只要再加一万张 H100,我们就能通往 AGI(通用人工智能)。
但是Ilya 让我们看到现在的 AI 现状充满了 “高分低能”的悖论。模型在各种学术基准测试(Evals)中早已超越人类,但在现实世界的经济活动中,它们的影响力却与之不成正比。
为什么一个能通过律师资格考试的 AI,却无法稳定地充当一个初级律师助理?为什么它能写出完美的代码片段,却在维护一个真实项目时漏洞百出?
这一切都在传递一个信号,“暴力美学”的边际效应正在递减,我们正在从“扩展时代”重回 “研究时代”(Age of Research)。因为单纯的“大”不再是答案,我们需要回头去解决更本质的问题。
一、 拼的是快速学习:从“做题家”到“通才”
Ilya 在访谈中提出了一个非常精彩的类比,用来解释当前 AI 模型与理想智能之间的差距。
想象有两个学生:
学生 A(AI 现状): 为了在编程竞赛中拿第一,他练习了 10,000 个小时。他背下了所有的算法、所有的解题套路,见过所有的题型。他能极其快速且准确地解决问题。
学生 B(理想智能): 他只练习了 100 个小时,但他拥有某种“天赋”(It Factor)。他理解得更深,能举一反三。
谁在未来的职业生涯中会更成功?Ilya 毫不犹豫地选择了 学生 B。
目前的 AI 模型就像学生 A。它们通过 Pre-training(预训练)见过了世界上几乎所有的数据,这种“大数定律”式的训练让它们看起来无所不知。但这种能力很大程度上是建立在海量记忆的基础上的。一旦遇到训练数据分布之外的新情况,它们的表现往往不如人意。
真正的智能,不在于你已经“知道”了多少,而在于你“学习”新事物的速度有多快。
Ilya 强调,人类的 样本效率(Sample Efficiency) 是极高的。一个青少年只需要 10 个小时就能学会开车,依靠的是在这个过程中不断的自我修正和对世界的理解,而不是预先在脑子里装入所有可能的路况。
因此,AI 发展的下一站,不是制造一个出厂时就精通所有工作的“全知全能神”,而是一个能够像人类一样通过“在岗学习”(Continual Learning)迅速掌握任何工作的“超级学习者”。
这给我的启示是: AI 时代,死记硬背的知识(Pre-training data)变得极其廉价。能否像那个只练了 100 小时的学生一样,拥有强大的泛化能力,快速适应全新的环境和规则,才是核心竞争力。
二、 拼的是品味:情绪即最高效的“价值函数”
如果泛化能力决定了能不能“做对事”,那么品味和情绪则决定了什么是“对的事”。
在访谈中,Ilya 罕见地从机器学习的角度通过“价值函数”(Value Function)重新解构了 情绪(Emotion) 的作用。
他提到了一个神经科学的案例:一个因脑损伤而失去情感处理能力的人。这个人智商正常,逻辑清晰,但他完全无法做出决定——仅仅是决定早上穿哪双袜子,他都要花上几个小时去分析利弊。
没有情绪,就没有决策。
对于 AI 而言,目前的强化学习(RL)往往需要等到任务彻底结束才能得到反馈(Reward)。而人类的情绪就像是一个极其高效、鲁棒的实时价值函数。当你走入一条错误的死胡同,你不需要等到撞墙,你心中的“不舒服”、“焦虑”或“直觉”在几千步之前就会告诉你:路走错了。
这种对方向的感知,在科研和创造中被称为 “品味”(Taste) 。
当被问及他自己为何能连续做出 AlexNet、GPT-3 等划时代的研究时,Ilya 分享了他的 “研究品味” :
美学与简洁(Beauty and Simplicity): 好的想法不容许丑陋。它必须是优雅的、简洁的。
生物学直觉(Biological Inspiration): 相信大脑的运作机制是最高级的参考。
Top-down 的信念: 当实验数据与你的直觉相悖时,如果你对自己的理论有足够的审美自信,你不仅看数据,更看重那个“这必然行得通”的信念。
在 AI 甚至未来可能出现的超级智能(Super Intelligence)面前,逻辑推演的算力也许会变得普及,但这种基于生物本能、进化筛选出的“情绪指南针”和“审美直觉”,却是人类最难以被代码简单复制的护城河。
结语
Ilya 的 SSI 旨在直取超级智能,但他所描绘的未来并非冰冷的机器统治。
相反,这场对话提醒我们:在算力无限膨胀的时代,“少即是多”的智慧依然适用。像那个只学了 100 小时的学生一样,不拼题海战术,拼的是举一反三的灵性(泛化);像艺术家一样思考科学,不拼数据的堆砌,拼的是直击本质的直觉(品味)。
这就是 AI 时代留给我们的终极命题:学会如何学习,以及学会如何去感受。
此文自动发布于:github issues
