#710.YC：Harness 比模型更重要

episode

跨国串门儿计划 not yet transcribed

▲ 0

Transcript

This episode hasn't been transcribed yet Upvotes decide what gets transcribed next — 0 so far. Sign in to upvote

More from 跨国串门儿计划

#365.风险共担与非对称性：塔勒布对话纳瓦尔，拆解真实世界的运行逻辑 1h 9m · 20 Dec 2025

All episodes from 跨国串门儿计划 →

Report any issue

Source

Recorded08 Sep 2026

Publisherfeed.xyzfm.space ↗

Handlerec:20290223

Show notes

📝 本期播客简介本期我们克隆了：Y Combinator · Why The Harness Matters More Than The Model | YC Paper Club原内容更新时间：2026-09-07本期来自 YC Paper Club，也就是 YC 论文俱乐部的 Harness 专场。主持人带着现场研究者和创业者回顾了 harness 从最初的生成循环，如何逐步加入上下文、工具调用、记忆、技能、子 Agent、递归调用与自我改进能力，并讨论为什么这些“模型之外”的系统设计，正在成为 Agent 能力的关键来源。Seth 介绍了 Prime Agent，一个自我改进的 RLM harness，并展示同一模型在不同 harness 下运行 ARC-AGI、长程编程和自动科研任务时的巨大差异。Jon Saad-Falcon 介绍 OpenJarvis，讨论如何把个人 AI 的模型推理、Agent 执行、记忆和学习搬到端侧；Josh 和 Regan 则分享 YC 内部办公 Agent harness QM 的演进，以及如何通过集中式上下文、可切换的沙盒与模型运行时，为每位员工提供个性化助手。这场讨论的核心并不是“该选哪个模型”，而是如何把 harness 做得足够有表达力：让 Agent 能管理自己的上下文、调用程序和子 Agent、选择资源与模型，并在长期运行中持续改进。同时，嘉宾也直面了成本、评测、公平比较、权限管理和社交语境等实际问题。👤 本期嘉宾本期由 Y Combinator 主持。Seth 是 Prime Intellect 的研究员、普林斯顿大学 Shi- Shi- Shi Chin 的学生，也是 Prime Agent 的作者，分享了如何从第一性原理构建自我改进的 RLM harness。Jon Saad-Falcon 是斯坦福相关项目的研究者，与共同一作 Avantika Narayan、导师 Azalia Mirhoseini 和 Christopher Ré 一起开发 OpenJarvis，探索端侧个人 AI 技术栈。Josh 刚刚升任 YC Labs 的负责人，Regan 与他共同负责 QM，这是 YC 面向办公场景的开源 Agent harness，为 YC 员工提供可在 Slack 和网页端使用的个性化助手。⏱️ 时间戳00:17 harness为何值得研究06:59 harness六年演进史17:02 Prime Agent的自我改进35:54 OpenJarvis走向端侧43:54 QM连接YC办公系统🌟 精彩内容💡 Harness 不是包装层，而是能力本身harness 长期被误解为 wrapper、脚手架或 Prompt 工程，但 ARC-AGI 的结果说明，模型权重相同，运行框架不同，最终能力可以出现数量级差异。它决定了模型能否使用工具、管理上下文、获得反馈并适应新问题。"但光靠一些 harness，靠这个被认为不配当科研课题、只配叫包装层和脚手架的东西，我们就能做到 95%，而英伟达的 AVO 甚至做到了 100%。"💡 模型之外，才是测试时经验的入口模型可以通过 ICL 获得少量上下文，但很快会触及上下文长度和效果饱和的限制。harness 则把测试时经验组织成记忆、工具、REPL、子 Agent 和反馈循环，让模型能够在任务过程中持续适应，而不必每次都重新训练权重。"所以我认为，这正是 harness 目前大放异彩的地方。"💡 好的 harness 应该尽可能有表达力Seth 认为，harness 不该把 Agent 限制在固定的规划—行动—评估流程里。模型已经能自行探索许多步骤，真正需要由 harness 提供的是调用 compaction、运行 Python REPL、创建子 Agent、访问状态和获取反馈的能力。"你会希望它是你能想象到的最具表达力的东西。"💡 上下文可以像缓存一样分层管理Prime Agent 把模型权重、活跃上下文、REPL 状态、文件系统和持久化记忆看成不同层级的缓存。通过 compaction、程序化操作和子 Agent，系统可以减少重复生成，避免把所有信息都塞进上下文窗口。"我喜欢把它看作有点像，比如我这里有 L1、L2、L3，它就像一个缓存，对吧？"💡 自我改进的对象不只是 Prompt从 DSPy 的系统提示词优化，到达尔文-哥德尔机对 harness 代码本身的修改，再到 continual harness 对历史 Trajectory、技能、记忆和子 Agent 规范的持续调整，Agent 系统正在从静态配置变成可以修改自身的系统。"你不仅能改 system prompt，还能改 harness 本身，也就是正在跑的 harness 代码。"💡 长期任务的公平比较，必须考虑预算如果一个 Agent 因为预算耗尽而停止，另一个 Agent 还在继续运行，二者的结果就不能直接比较。长程评测不仅要看最终得分，还要观察测试时计算投入到什么程度后，性能提升开始趋于平缓。"首先，你连对比模型时用的固定开销都不是同一个。"💡 端侧 AI 的关键是优化整套技术栈OpenJarvis 不只关注本地模型，而是把模型、推理引擎、Agent 逻辑、工具、记忆和学习机制都纳入统一的五层原语。云端模型可以负责优化本地配置，实际推理则在本地运行，从而同时改善成本、延迟、隐私和个性化。"我们发现，经过 Claude 或 ChatGPT 这类云端大语言模型优化的 OpenJarvis 配置，效果远好于直接开箱即用的本地技术栈。"💡 Agent 越自由，权限和社交语境越重要QM 将沙盒从 Agent 的“家”变成可按需调用的资源，也允许 Agent 自主选择更合适的机器和模型运行时。但当 Agent 能访问公司的广泛资源时，权限控制和对话场景判断就会成为核心问题，单纯把信息灌进系统并不够。"但要想让 Agent 也做到这一点，得花一番真功夫。"🌐 播客信息补充本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的使用 AI 进行翻译，因此可能会有一些地方不通顺在小宇宙查看该单集文稿

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.