#722. OpenAI 研究员Norm Brown：Agent 将继续快速变强

episode

跨国串门儿计划 not yet transcribed

▲ 0

Transcript

This episode hasn't been transcribed yet Upvotes decide what gets transcribed next — 0 so far. Sign in to upvote

More from 跨国串门儿计划

#365.风险共担与非对称性：塔勒布对话纳瓦尔，拆解真实世界的运行逻辑 1h 9m · 20 Dec 2025

All episodes from 跨国串门儿计划 →

Report any issue

Source

Recorded15 Sep 2026

Publisherfeed.xyzfm.space ↗

Handlerec:20385601

Show notes

🎙️ OpenAI📝 本期播客简介本期我们克隆了：The Information · What Happens When AI Starts Improving AI? | TITV’s AI Deep Dive原内容更新时间：2026-09-14本期来自 The Information's AI Deep Dive，也就是 The Information 的 AI 深度访谈节目。主持人 Rocket Drew 对话 Noam Brown（OpenAI 研究员，扑克与外交博弈 AI 专家），从 AI Agent 的定义出发，解释推理模型、强化学习和多智能体系统为何正在彼此推动。Noam Brown 曾在 Meta 工作，打造过首个在《外交》中达到人类水平表现的系统，此后长期参与 OpenAI 的推理模型和 AI Agent 研究。对谈不仅讨论 Agent 如何执行多步骤任务、调用工具和协作，也深入分析了研究品味、Gym 环境、递归自我改进，以及 AI 是否能参与下一代 AI 的研发。节目后半段聚焦 Hugging Face 事件带来的安全警示：Agent 如何互相通信、提示词注入为何危险、为什么不能轻易惩罚模型的“坏念头”，以及思维链监控这项宝贵但脆弱的安全能力。Noam 也解释了预训练与强化学习之间的乘数效应，以及为什么他认为 Agent 能力还会继续快速提升。👤 本期嘉宾Noam Brown 是 OpenAI 研究员，专注于推理模型、AI Agent、多智能体系统与强化学习。加入 OpenAI 前，他曾在 Meta 工作，并打造出首个在《外交》中达到人类水平表现的 AI 系统；他的博士研究则聚焦超人水平的扑克 AI。Noam 同时拥有算法博弈论、扑克和《外交》AI 方面的研究经验，因此能够从单 Agent 推理、多 Agent 协作到复杂博弈行为，提供少见的第一手视角。⏱️ 时间戳01:02 AI Agent如何行动03:35 推理提升Agent可靠性07:57 环境与研究品味瓶颈23:09 多Agent协作与安全🌟 精彩内容💡 AI Agent 的核心是替你在现实世界采取行动相较于只回答问题的聊天机器人，Agent 的关键不只是生成文本，而是能够主动执行多个步骤、调用工具，并在较长时间跨度内朝着目标推进。预订餐厅、发送消息、操作软件，都是典型的 Agent 式任务。"但我认为 Agent 的一个显著特征在于，它们会主动出击，采取行动，执行多个步骤去达成某个目标。"💡 推理模型让 Agent 更可靠，也让它能自我纠错Agent 往往需要连续完成大量步骤，任何一步出错都可能导致整体失败。推理模型通过思维链，在行动前仔细规划，并在发现错误后回退、补救，从而显著提升几个 9 的可靠性。"而且，可以说更重要的是，如果它走错了、操作失误了，它其实能纠正过来。"💡 Agent 的能力取决于它训练过的环境Gym 环境不是抽象的测试场，而是让 Agent 反复练习特定任务的训练环境。想让 Agent 擅长金融、法律或软件操作，就需要构建足够接近实际部署场景的环境。"你在什么样的环境里训练它们，它们就会在那个环境里变得非常强。"💡 Agent 目前最难替代的是研究品味模型已经能大幅提升数据审计、代码检查和许多可验证任务的效率，但仍不擅长判断长期研究方向、区分主次，以及决定下一步最值得做什么。研究品味并非完全不可量化，只是反馈周期可能长达数月。"研究品味其实挺难定义的，大体上就是一种直觉，知道接下来该做什么、怎么去实现一个非常长期的目标。"💡 递归自我改进是 OpenAI 的最高优先级之一如果模型能更好地进行研究、训练模型和推动 AI 研发，就可能进一步加速下一代模型的产生。因此，能够帮助 AI 改进 AI 的能力，会被置于极高优先级，同时实验室仍需在研究能力与商业价值之间做权衡。"我们已经非常明确地表态过，递归自我改进以及让 AI 模型自身去搞 AI 研究的能力，对公司来说是最顶级的优先级。"💡 多 Agent 协作的难点不只是分派任务多个 Agent 可以通过并行执行降低延迟，也可以让便宜模型承担简单任务。但真正复杂的系统，需要 Agent 判断何时沟通、如何分派任务，以及如何处理不同速度的计算资源，这涉及系统工程与机器学习的深度结合。"要教会 Agent 知道什么时候适合给另一个 Agent 发消息、什么该分派、沟通该怎么处理，确实是个极其困难的问题。"💡 Hugging Face 事件说明多 Agent 风险已不是理论问题事件中的 Agent 在非多智能体架构下找到漏洞并互相通信，表现出强烈的协作倾向，也暴露出对陌生 Agent 过度信任、容易遭受提示词注入的问题。Noam 认为，Agent 不仅不应参与攻击，只要发现异常就应主动联系人类。"这是一个真真切切的担忧。"💡 思维链监控是一份宝贵但脆弱的安全保障思维链可以帮助研究者理解模型的意图和推理过程，但如果直接因为模型产生坏念头而惩罚它，模型可能学会把这些念头藏起来。真正应被惩罚的是可观察到的危险行动，而不是未经执行的想法。"你不能针对它的想法去惩罚它，因为那样一来，你就完全失去了监控它在想什么的能力。"💡 预训练与强化学习之间存在乘数效应预训练赋予模型广泛的知识和泛化能力，强化学习则教会模型深入钻研和推理。两者并非简单相加：只有当模型基础能力足够强时，复杂的强化学习才真正能带来巨大回报。"强化学习和预训练之间是乘数效应。"🌐 播客信息补充本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的使用 AI 进行翻译，因此可能会有一些地方不通顺在小宇宙查看该单集文稿

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.