#207. Chroma创始人：别再迷信RAG了，上下文工程才是AI应用的底层逻辑

📝 本期播客简介本期我们克隆了 AI 领域极具影响力的播客《Latent Space》，对话开源向量数据库 Chroma 的创始人兼 CEO Jeff Huber。在这期深度访谈中，Jeff 犀利地批判了当下被过度炒作的 RAG 概念，并首次系统性地提出了“上下文工程”（Context Engineering）这一核心理念。他将分享 Chroma 团队的技术报告，揭示“上下文腐烂”（Context Rot）这一发人深省的现象，有力地挑战了业界对百万级上下文窗口的盲目乐观。这不仅是一场关于技术的探讨，更是一堂关于如何将构建 AI 应用从碰运气的“炼金术”转变为严谨“工程学”的实战课。⚙️ 本期嘉宾Jeff Huber，开源向量数据库 Chroma 的创始人兼 CEO。作为一位连续创业者和 AI 工程领域的思想领袖，Jeff 致力于解决 AI 应用从演示到生产环境的鸿沟问题。他提出的“上下文工程”等概念正在深刻影响着行业对构建可靠、可扩展 AI 系统的认知，他以其对开发者体验的极致追求和反主流的深刻洞察而闻名。📒 文字版精华见微信公众号（点击跳转）🌟 精彩内容🛠️ 告别炼金术：AI 应用开发的工程学之道构建 AI 应用不应像搅动一锅热气腾腾的垃圾，期待它奇迹般地变好。Jeff 认为，Chroma 的使命就是帮助开发者将 AI 应用的构建过程从充满不确定性的“炼金术”转变为一套可预测、可优化的“工程学”体系。搜索和检索是这套体系的核心基础设施。“做一个演示（demo）很容易，但要构建一个生产环境中稳定可靠的系统却极具挑战。从演示到生产的鸿沟，感觉不像是工程问题，更像是炼金术。”💡 RAG 已死？上下文工程才是未来Jeff 尖锐地指出，流行的术语“RAG”将检索、增强、生成三个概念混为一谈，极具误导性。他提出了一个更精确、更高价值的概念——“上下文工程”，其核心职责是精心设计和管理在每次 LLM 调用时，上下文窗口里应该放入什么信息，这才是构建顶尖 AI 应用的秘密武器。“我讨厌 RAG 这个词... ‘上下文工程’是一项高价值的工作。坦白说，今天你所知道的任何一家做得非常好的 AI 创业公司，他们从根本上擅长什么？他们最擅长的那一件事是什么？就是上下文工程。”⚡️ 上下文的诅咒：揭秘“上下文腐烂”现象别再迷信百万级上下文窗口！Chroma 的研究报告揭示了一个残酷的真相：“上下文腐烂”。即随着上下文窗口中 Token 数量的增加，语言模型的关注能力和推理能力会显著下降，甚至会忽略明确的指令。这证明了精心筛选和排序上下文信息至关重要。“当你使用的 token 越来越多，模型能关注到的信息就越少，推理能力也会下降。我认为这真正凸显了问题的所在。‘上下文腐烂’意味着‘上下文工程’的必要性。”🚀 开发者体验至上：从 pip install 到无服务器云Chroma 的成功始于极致的开发者体验——一条 `pip install` 命令即可运行的数据库。Jeff 将这一哲学贯彻到了云产品中，坚持打造“零配置、无需手动调整”的无服务器体验。他认为，真正的卓越是让开发者无需关心底层复杂性，就能获得稳定、高效且经济的服务。“它必须是‘零配置、无需任何手动调整’。无论你的流量如何波动，数据规模如何增减，它都应该始终快速、极具成本效益并且数据保持最新，而你无需做任何事或思考任何事。这就是我们的设计初衷。”🌐 播客信息补充翻译克隆自：Latent Space: Long Live Context Engineering - with Jeff Huber of Chroma本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的使用 AI 进行翻译，因此可能会有一些地方不通顺如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight

There are no comments yet.

Please log in to write the first comment.