04. 腾讯混元大模型负责人王迪：揭秘万亿 MoE 系统工程之道

人工智能正经历一场由大模型引发的革命。这些拥有数十亿甚至万亿参数的庞然大物，正在重塑我们对 AI 能力的认知，也构筑起充满挑战与机遇的技术迷宫——从计算集群高速互联网络的搭建，到训练过程中模型稳定性和鲁棒性的提升，再到探索更快更优的压缩与加速方法，每一步都是对创新者的考验。面对快速演变的市场，企业如何在大模型投入与应用间寻求平衡？AI 从业者又该如何在这复杂的产业生态中找准定位，最大化自身价值？这些问题不仅关乎技术与商业，更直指 AI 产业的未来走向。本期机器之心《智者访谈》邀请到腾讯机器学习平台部总经理／混元大模型负责人王迪先生，深入腾讯从 0 到 1 自研万亿级 MoE 大模型的历程。王迪强调，大模型是一项跨领域的系统工程，需要在约束下高效整合工程、算法、数据和业务应用，对组织能力提出了前所未有的挑战。同时，业务团队需要明确模型的能力边界，辨识哪些问题适合用模型去解决，哪些则需要通过产品设计来应对，只有技术与业务紧密协作，才能快速推出满足应用需求的 AI 产品。腾讯的这条实践之路，让我们得以窥见大模型研发和工程的整个链路：从基础设施的构建到训练推理框架的优化，再到业务场景的落地，为理解大模型提供一个独特的视角。注：本期节目录制于2024年8月，如对话中提及年份相关时间点，默认「今年」为「2024年」。【时间线】01:07  小模型成趋势的深层逻辑05:54  腾讯为何选择从零自研大模型10:37  MoE Scaling Law：腾讯的着眼点20:22  布局全模态：统一到 Transformer23:06  平台层如何衔接上层应用与下层算力35:39  技术路径选择：直觉从何而来？39:55  万亿 MoE 实践：稳定性、鲁棒性48:10  算力集群发展及 AI Infra 展望【栏目简介】这是国内人工智能垂直媒体机器之心旗下的「智者访谈」播客栏目。栏目聚焦于人工智能领域的顶尖专家和学者，旨在洞悉人工智能的核心技术与行业趋势，深化行业认知，激发创新思考。【主播】闻菲，机器之心合伙人总监【嘉宾】王迪（腾讯机器学习平台部总经理）• 现任腾讯机器学习平台和混元大模型技术负责人• 在超大规模生成式大模型、搜广推稀疏大模型、搜索平台、GPU 算力和任务调度等技术领域拥有丰富经验• 2008 年加入腾讯，拥有十多年 AI 领域深厚技术研发经验。【联系方式】公众号：机器之心收听渠道：Apple Podcast | 小宇宙 | 喜马拉雅其他平台：bilibili（机器之心官方） | 视频号（机器之心）| 小红书（机器之心）联系我们：[email protected] | [email protected]

There are no comments yet.

Please log in to write the first comment.