#332.我发明了Transformer，现在我要取代它：走出AI局部最优，探索全新智能架构

📝 本期播客简介本期节目，我们克隆了 "I Invented the Transformer. Now I'm Replacing It."邀请到了Transformer的共同发明人Llion Jones，以及Sakana AI研究科学家Luke Darlow。Llion Jones提出了一个大胆的观点：Transformer架构（作为ChatGPT和几乎所有现代AI的核心）可能正在将整个行业困在一个“局部最优解”中，阻碍我们发现真正的智能推理能力。他将深入剖析这一论点，并与Luke Darlow共同介绍他们最新的研究成果——“连续思维机器”（Continuous Thinker Machine, CTM），这项创新技术有望引领AI迈向新的前沿。本期节目将是一场关于AI未来方向的深度对话，探讨如何跳出现有框架，拥抱更具生物启发性和适应性的智能范式。文字版精华见微信公众号（点击跳转）👨‍⚕️ 本期嘉宾Llion Jones：Transformer的共同发明人之一，Sakana AI联合创始人。他曾是Google Brain团队的核心成员，对Transformer的诞生和发展做出了奠基性贡献。现在，他致力于探索超越Transformer的下一代AI架构。Luke Darlow：Sakana AI研究科学家，主要研究领域是“连续思维机器”（CTM）。他主导了CTM的研发，并将其推向了今年的NeurIPS大会焦点论文。⏱️ 时间戳00:00 开场 & 播客简介摆脱Transformer的“引力盆地”00:00:00 Llion Jones：告别Transformer：过度饱和领域中的新探索00:00:27 Luke Darlow：连续思维机器：具备自适应计算能力的新循环模型00:00:56 Llion Jones：AI研究自由度的丧失：从自下而上到受限创新00:01:40 Llion Jones：大规模演化搜索的潜力：算力投入与未被探索的方向00:02:07 主持人：Sakana AI的核心理念：拥抱兴趣梯度，拒绝“灰色粘质”00:02:57 Llion Jones：守护研究自由：公司发展中面临的挑战与哲学坚守00:03:31 Llion Jones：削减自由的流程：商业压力与投资回报的预期00:04:40 主持人：“技术捕获”现象：Transformer的成功与商业化压力00:05:22 Llion Jones：局部最优解的困境：被大语言模型“捕获”的行业00:05:37 Llion Jones：RNN时代的启示：技术突破与微小改进的循环00:07:24 Llion Jones：Transformer的碾压式突破：旧研究的“多余”与当下的“浪费”00:08:48 主持人：成功受害者：硬件/架构彩票与多样化技能的消亡00:09:45 Llion Jones：人才困境：研究人员缺乏自由而非才华00:10:24 主持人：新架构难以普及：通用表示与规模化路径的诱惑00:11:02 Llion Jones：超越Transformer：需要“碾压式更好”才能推动行业转向00:12:16 Llion Jones：引力效应：规模化带来的性能提升掩盖了架构创新00:12:34 主持人：捷径学习与“破碎纠缠表示”：现有架构的修修补补00:13:08 Llion Jones：连续思维机器的尝试：解决“参差不齐的智能”00:13:50 Llion Jones：神经网络的“强大”与“强迫”：它们并非“想要”如此00:14:14 Llion Jones：智能矩阵求幂：螺旋线数据的“自然”表示与理解00:15:33 Llion Jones：ReLU模型的局限：蛮力拟合与缺乏真正理解00:16:02 主持人：神经网络样条理论：描摹模式与延续模式的差异00:17:20 Llion Jones：视频生成模型的困境：蛮力解决与缺乏深层理解00:18:15 主持人：NeurIPS焦点论文：连续思维机器的创新与认可连续思维机器（CTM）深度解析00:18:31 Llion Jones：CTM的诞生：受生物学启发，神经元同步的简单想法00:19:20 Llion Jones：打磨论文：无需匆忙，专注科学研究本身00:20:02 主持人：AI驱动的进步：模型能否自主进行科学研究？00:20:14 Llion Jones：AI科学家：端到端研究系统与人机协作的未来00:21:22 主持人：监督的必要性：路径依赖与人类兴趣的延续00:21:48 Llion Jones：引导与协作：AI研究如同指导实习生00:22:18 主持人：人类的经验与直觉：AI模型能否习得？00:22:55 Llion Jones：超越人类：AI在特定领域超越人类的案例（如象棋）00:23:12 主持人：CTM介绍：Luke Darlow的自我介绍与项目历程00:23:48 Luke Darlow：CTM的三大创新点：内部思维维度、神经元级模型、同步表示00:24:15 Luke Darlow：迷宫任务：CTM的“Hello World”问题与序列化推理00:25:19 Luke Darlow：神经元的重新定义：从ReLU到“小模型”00:25:57 Luke Darlow：同步作为表示：捕捉“想法”在时间中的存在00:26:47 主持人：CTM与规划：计算上的差异与图灵机的边界00:27:29 Luke Darlow：迷宫问题的分解：自动课程系统与行为理解00:28:46 主持人：自适应计算：步数敏感度、不确定性与无界步数00:30:05 Luke Darlow：不确定性与步数：ImageNet分类任务中的自然涌现00:31:00 主持人：神经元级模型与同步：M L P神经元与内积驱动00:31:18 Luke Darlow：神经元级模型（NLMs）：历史激活值与单一输出00:32:09 Luke Darlow：同步的定义：时间序列的点积与神经元间关系00:32:30 Luke Darlow：生物学与深度学习的平衡：NLMs的中间方案00:33:19 主持人：扩展性与稳定性：同步矩阵的时间复杂度与子采样00:33:33 Luke Darlow：CTM的稳定性：对梯度传播的帮助00:34:00 Luke Darlow：表示空间的丰富性：D的二次方量级与下游计算00:34:34 主持人：指数衰减率：不同时间尺度的同步00:35:06 Luke Darlow：时间尺度差异：捕捉神经元快速与缓慢同步00:35:42 Luke Darlow：表示空间的进一步丰富：细微调整与更多可能CTM的未来与AI推理00:36:19 主持人：CTM在推理任务上的优势：离散、稀疏领域与样本效率00:36:40 Luke Darlow：内部化推理：思维链与序列化运行00:37:06 Luke Darlow：CTM的灵活性：同步与多层次时间表示00:37:34 主持人：CTM与神经图灵机：隐空间推理与任务展开00:37:56 Luke Darlow：ImageNet任务的启示：分解问题与自然分割00:39:00 Luke Darlow：模型校准：CTM的完美校准与传统模型的缺陷00:40:10 Llion Jones：自适应计算时间的自然涌现：无需额外惩罚项00:41:35 Llion Jones：沿着“有趣”的梯度：以架构为驱动的探索00:42:06 主持人：路径依赖与“复杂化”：构建世界模型与主动推理00:42:33 Luke Darlow：模棱两可的问题：幻觉与世界分解的不同方式00:43:27 Luke Darlow：分解问题：自然且无需“黑科技”的方法00:43:55 主持人：捷径问题：成本函数与推理的对齐00:44:23 Luke Darlow：架构的意外适用性：向大脑与自然致敬00:45:04 Luke Darlow：鼓励年轻研究者：追随热情，探索未知00:45:36 主持人：CTM与下一代语言模型：迷宫与模糊性00:46:07 Luke Darlow：CTM的探索行为：回溯与多路径尝试00:47:08 Luke Darlow：迷人的“蛙跳”行为：时间约束下的新算法00:48:06 Luke Darlow：人类思维的启示：受限与开放环境下的思考00:48:18 主持人：群体方法与集体智能：纵向与横向扩展00:48:36 Luke Darlow：记忆与长期记忆：共享记忆与文化记忆00:49:34 Luke Darlow：通用人工智能的关键要素：记忆的构建Sudoku Bench：一个全新的推理基准测试00:50:09 Llion Jones：Sudoku Bench数据集：推广的困难与独特之处00:50:33 Llion Jones：变体数独：自然语言理解与元推理的挑战00:51:18 Llion Jones：多样性与推理能力：攻克基准测试的意义00:51:46 Llion Jones：GPT-5o的性能：仍无法解决人类谜题00:52:04 Llion Jones：数据集的灵感：Andrej Karpathy的“思维轨迹”00:52:36 Llion Jones：Cracking the Cryptic：高质量人类推理数据的来源00:53:37 Llion Jones：基准测试的难度：模仿学习的挑战00:53:46 Llion Jones：强化学习的局限：稀疏空间与特定推理00:55:00 主持人：知识的“演绎闭包”：推理之树与乐高积木00:55:51 Llion Jones：实时学习与元任务：对推理进行推理00:56:08 Llion Jones：专业人士的直觉：推理乐高积木的识别00:57:00 Llion Jones：人类的回溯行为：AI模型中缺失的环节00:57:15 主持人：主题间的系统发育距离：集体智能的优势00:57:32 Llion Jones：强化学习的失效：稀疏空间与特定推理的挑战00:58:08 招聘信息与结束语00:58:08 主持人：Sakana AI招聘：为优秀人才提供梦想工作00:58:21 Llion Jones：研究自由的承诺：来日本，做有趣且重要的事00:58:43 主持人：日本文化：世界最文明的文化之一00:58:51 主持人：感谢嘉宾：千载难逢的机会🌐 播客信息补充本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的使用 AI 进行翻译，因此可能会有一些地方不通顺；如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight【活动推荐💡】今年冬天，北京有你最值得你赶一趟的现场：极客公园创新大会 2026。在活动的两天的时间里，我们将汇聚这个时代最「有料」并且敢于说「非共识」的人--何小鹏、刘靖康、刘作虎、王小川......来这里：👂你会听见下一个技术周期「原点」的声音🤝结识正在定义新行业的人🧑💻找到在 2026 你换一个团队或者启动一个创业旅程的理由12 月 6 日-7 日，北京 798艺术区，我们不见不散！速戳链接，了解大会详情👉极客公园创新大会 2026 首批嘉宾揭晓！https://mp.weixin.qq.com/s/j0eRzCvLmkNvq_rrR428Zg🔥「极客公园创新大会 2026」门票火热发售中，主会场早鸟限时七折优惠，票量有限，先到先得！

There are no comments yet.

Please log in to write the first comment.