#353.视觉智能RAG与Agent框架：突破传统限制，构建多模态AI应用

episode

跨国串门儿计划 not yet transcribed

▲ 0

Transcript

This episode hasn't been transcribed yet Upvotes decide what gets transcribed next — 0 so far. Sign in to upvote

More from 跨国串门儿计划

#365.风险共担与非对称性：塔勒布对话纳瓦尔，拆解真实世界的运行逻辑 1h 9m · 20 Dec 2025

All episodes from 跨国串门儿计划 →

Report any issue

Source

Recorded09 Dec 2025

Publisherfeed.xyzfm.space ↗

Handlerec:14419619

Show notes

📝 本期播客简介本期我们克隆了：AI Engineer PodcastVoiceVision RAG - Integrating Visual Document Intelligence with Voice Response — Suman Debnath, AWS本期播客中，AWS首席机器学习布道师Suman Debnath深入探讨了多模态检索增强生成（RAG）技术的最新进展，特别是针对传统RAG在处理图像密集型文档时面临的挑战。Suman详细介绍了Call Pal这一基于视觉的检索模型，它如何通过将文档页面视为图像、并利用图像分块和“延迟交互”机制来理解视觉上下文，从而实现更精准的检索。他不仅从理论层面解释了Call Pal的工作原理，包括其与视觉语言模型的关联，还通过一个详细的代码演示，展示了如何使用Call Pal与Quadrant向量数据库，并结合Strands Agent框架，构建一个能够进行视觉检索并以语音形式生成答案的智能应用。Suman强调，Call Pal并非要取代传统RAG，而是一种针对特定复杂视觉数据集的强大补充，为听众提供了关于何时以及如何有效利用这项前沿技术的实用指导。👨‍⚕️ 本期嘉宾Suman Debnath，AWS首席机器学习布道师。他专注于自然语言处理（NLP）、检索增强生成（RAG）和模型微调等领域，是多模态AI和Agent框架方面的专家。⏱️ 时间戳00:00 开场 & 播客简介视觉RAG与Agent框架概览01:56 Suman开场：视觉检索与Agent框架的探索之旅03:11 互动环节：了解听众背景与资源分享05:07 GitHub仓库导览：基于视觉的Agent RAG实践传统多模态RAG的挑战06:14 多模态RAG的传统实现方法06:18 方法一：实体分离与多模态Embedding08:26 方法二：实体摘要与文本Embedding09:24 方法三：摘要检索与原始数据生成11:41 传统RAG的局限性：图像密集型文档的困境Call Pal：基于视觉的检索模型14:22 灵感来源：模仿人类阅读与理解15:34 Call Pal模型概述：将页面视为图像并分块处理16:18 Call Pal核心机制：Embedding与检索16:53 视觉语言模型基础：对比学习与正向提示20:32 Call Pal的Embedding过程：预处理与向量生成22:59 延迟交互检索：查询与图像分块的相似度计算代码实践：Call Pal与Agent工作流25:50 演示环境搭建：模型、数据与Quadrant数据库32:26 数据准备：PDF转图片及元数据处理33:07 Embedding生成：Call Pal模型处理图片34:10 语义搜索：基于查询检索相关页面34:53 答案生成：结合多模态LLM输出结果37:21 Strands Agent框架：轻量级Agent构建38:05 Strands Agent简介：模型优先与工具集成43:02 自定义检索工具：Call Pal与Agent的结合45:16 增强Agent：加入语音输出功能问答环节：应用与未来展望49:26 生产环境应用与扩展性考量52:59 Call Pal与传统RAG：选择与权衡56:00 混合架构探索：Call Pal与传统RAG的结合57:21 模型微调：Call Pal的优化潜力🌟 精彩内容💡 传统多模态RAG的局限与Call Pal的诞生Suman Debnath深入剖析了当前多模态RAG在处理视觉信息（如扫描PDF、图像嵌入文本）时的不足，引出Call Pal这一创新模型。Call Pal通过将每个文档页面视为一张图片，并对其进行分块处理，从而更好地捕捉视觉上下文，解决了传统OCR技术难以应对的挑战。“我只有在我的数据集非常奇特，并且作为人类，你都觉得我必须看着它才能读懂的情况下，我才会用这个方法。”🛠️ Call Pal的“延迟交互”检索机制Call Pal的核心在于其独特的“延迟交互”检索机制。它将文本查询的每个token与图像分块的embedding进行点积运算，并聚合最大相似度得分，以评估查询与整个页面的相关性。这种方法能够精准识别包含关键视觉信息的页面，而非仅仅匹配零散的文本片段。“如果你想找个法子从公司换台新电脑，这就是那个单元格了。你可以试试。” (关于CPU运行Batch Size过大导致电脑崩溃的趣事)🚀 Strands Agent：轻量级AI应用框架Suman介绍了AWS开源的Strands Agent框架，一个模型优先、极其轻量级的Agent构建工具。通过简单的模型与工具组合，开发者可以快速创建智能应用，并轻松集成语音输出等功能。节目中演示了如何将Call Pal检索能力封装成自定义工具，并与Strands Agent结合，实现从视觉检索到语音回答的完整工作流。“毕竟现在，没个 agent 简直没法聊技术了。”🤔 何时选择Call Pal而非传统RAGSuman强调，Call Pal并非要取代传统RAG，而是一种针对特定场景的补充。他建议优先采用更高效、成本更低的传统RAG方法。只有当数据集高度依赖视觉上下文（例如宜家说明书、大量图片嵌入文本的文档），且人类需要“看着”才能理解时，才应考虑使用Call Pal。“所以，我建议不要一开始就用这个方法，而是从传统技术开始，因为那更高效，成本也更低，而且也更轻量，因为在这里，我们为每一页都存储了大量的向量。”🌐 播客信息补充本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的使用 AI 进行翻译，因此可能会有一些地方不通顺；如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.