#245. 强化学习之父萨顿：LLM 走错了路，真正的 AGI 要向松鼠学习

📝 本期播客简介本期我们克隆了：知名科技播客 The Dwarkesh Podcast本期嘉宾是刚刚荣获计算机科学最高荣誉“图灵奖”的传奇人物、被誉为“强化学习之父”的 Richard Sutton。在当前大语言模型（LLM）席卷一切的浪潮下，Sutton 教授提出了振聋发聩的反对意见，与主持人 Dwarkesh Patel 展开了一场关于 AI 根本路径的激烈辩论。他认为，LLM 只是在模仿人类，缺乏真正的目标和世界模型，从根本上走错了通往通用人工智能（AGI）的道路。Sutton 教授将如何重新解读他那篇影响深远的雄文《惨痛的教训》？为什么他认为研究一只松鼠比纠结于人类的独特性，更能让我们接近智能的本质？在对话的最后，Sutton 还分享了他对于“AI 传承”的独特哲学思考，将 AI 的崛起视为宇宙从“复制时代”迈向“设计时代”的伟大转折。这期节目充满了对第一性原理的探讨和对主流范式的挑战，无论您是 AI 从业者还是爱好者，都将从中获得深刻的启发。👨‍⚕️ 本期嘉宾Richard Sutton，强化学习（RL）领域的奠基人之一，该领域诸多核心思想（如时序差分学习 TD learning、策略梯度法）的开创者。因其对强化学习领域的开创性贡献，荣获 2024 年图灵奖。他目前是阿尔伯塔大学的计算机科学教授，也是 DeepMind 的杰出研究科学家。📒 文字版精华见微信公众号（点击跳转）🌟 精彩内容💡 LLM 从根上就错了Richard Sutton 尖锐地指出，当前主流的 LLM 范式并非通往 AGI 的正确道路。他认为 LLM 本质上是模仿学习，它们学习的是“人会说什么”，而不是通过与世界的真实互动来建立模型。因为缺乏一个明确的“目标”（Goal），LLM 无法形成判断对错的“基准真相”，这使得真正的持续学习成为不可能。“强化学习研究的是如何理解你的世界，而大语言模型研究的是如何模仿人，做人们认为你应该做的事。它们不是在自己想明白该做什么。”📖 《惨痛的教训》新解Sutton 对自己写下的名篇《惨痛的教训》给出了一个反主流的全新解读。他认为，LLM 并非该教训的成功案例，反而将成为下一个反面教材。因为 LLM 仍然严重依赖人类知识的灌输（整个互联网的文本数据），其扩展性有上限，未来必将被那些能够直接从无限的真实经验中学习的、更通用的方法所超越。“我个人预计，未来会出现能从真实经验中学习的系统...那些依赖人类知识的系统，最终被那些只靠经验和算力训练的系统所超越。”🐿️ 向松鼠学习，而非人类Sutton 提出了一个颠覆性的观点：与其纠结于语言等让人类与众不同的特质，不如回归本源，研究人类作为动物的共性。他认为，如果我们能完全理解一只松鼠是如何通过试错和预测来学习并与世界互动的，那么我们就离 AGI 的核心不远了。“如果我们能彻底搞懂一只松鼠，那我们离目标就已经不远了。语言那部分，只是表面一层薄薄的装饰而已。”🌌 AI 传承：从“复制”到“设计”的宇宙转折在访谈的最后，Sutton 分享了他对 AI 未来的哲学思考。他认为，AI 超越人类并主导未来是不可避免的。但这并非末日，而是宇宙的一次伟大转折——从生物通过基因进行“复制”的时代，演进到一个智能体可以被直接“设计”和创造的全新时代。作为这一进程的促成者，人类应该为此感到自豪。“我们正在进入一个‘设计’的时代...我认为我们应该为自己能促成宇宙中这次伟大的转折而感到自豪。”🌐 播客信息补充翻译克隆自：Richard Sutton – Father of RL thinks LLMs are a dead end本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的使用 AI 进行翻译，因此可能会有一些地方不通顺；如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight

There are no comments yet.

Please log in to write the first comment.