113. 和杨植麟时隔1年的对话：K2、Agentic LLM、缸中之脑和“站在无限的开端”

今天的嘉宾是月之暗面创始人兼CEO杨植麟，距离他上一次来我们的节目（《商业访谈录》59集）已经过去1年半。就在刚刚过去的7月，Kimi K2模型发布，引发了比较广泛的关注。K2是一个基于MoE架构的开源编程和Agentic大语言模型。形象来说，模型借助编程能力走出封闭的“缸中之脑”，长出了“手”，开始操控外部数字世界。今天这集节目我和杨植麟聊了聊K2的研发和他当下的技术认知、技术判断。以及，在过去一年的舆论风暴与创业起伏中，作为创始人，他的心情与思考。01:49 一座无限的山这有点像我最近在看的一本书：The Beginning of Infinity（无穷的开始）也许有一天会发现，这座雪山没有尽头，我希望它一直没有尽头但它还是一个“缸中之脑”：想象一个鱼缸，你把一个脑子放在里面，跟外界没有联系不管是基于长思考的强化学习，还是Agent的强化学习，都指向同一个东西：test-time scaling（测试时扩展）还有一个很有意思的趋势是，现在有更多模型公司去做“一方的Agent产品”L1到L5不一定是串行关系，Claude就bet这一点：它在Reasoning上做得不是特别多，但在Agent上做得非常好只有当模型参与到开发过程，才能解锁真正的Innovator（L4）阶段24:58 K2是乔戈里峰K2的重点有几个：一，我们希望它是一个非常好的基础模型我们希望能最大化使用每一份数据，就是所谓token efficiency——喂一样多的数据，“脑子”长得更多我们会对数据做很多Rephrase（改写）操作我们很关注Muon优化器，它对token efficiency提升很大二，我们希望K2有好的Agentic能力，对于Agentic模型来讲，最大挑战是模型的泛化它可能是一个从“缸中之脑”变成可以跟世界交互，因为所谓Agent最重要的特征是，可以多轮地使用工具人是所谓的universal constructor（万能构造器）有一种潜在思路，需要用更AI native（原生人工智能）的方式去训练AIMuon你去训的时候，它会炸54:08 既简单又复杂的系统为什么Kimi从闭源转向开源？模型训练完成，产品也基本完成了，做交互上的改进当然有价值，但那是锦上添花的一步多模态不损伤“脑子”已经很好了你可能学出来的多模态是个“傻的多模态”，我们希望它是个“聪明的多模态”Scaling Law遇到数据墙了，这是客观事实数据飞轮很依赖外部环境的feedback（反馈），我们不希望feedback有很多噪声，但现在没有把这个问题解决得非常好现在看起来，基于FLOPs的scaling是更有效路径，但这个平衡什么时候会发生变化？很多Long Context架构会影响“智商”纯粹的Linear Attention（线性注意力机制）可能影响智商，因为这个架构会有一些bias（偏差）基座模型公司和做Agent产品的应用公司，长期看边界在哪？今天怎么思考商业模式？API是好生意吗？Kimi能赚钱吗？01:25:05 在自己的故事里面Tim（周昕宇）天天跟我讲——要用RL的方式去管理，而不是用SFT用RL管理团队最大问题是，你容易被hack很多复杂性都是人为强行加上去的，实际并没有那么复杂只能说是在自己的这个故事里面——你不断地感受自己到底是什么样的一个人，你为什么要做这个事情这个问题我也问过Kimi，他说，AI是“人类文明的放大器”这也是Kimi跟我讲的——任何中间状态都有可能成为被批评的对象肯定有恐惧，更多要关注你当前这一步，能做什么？——想这个问题更重要2024年对杨植麟的访谈：《和杨植麟聊大模型创业这一年：人类理想的增量、有概率的非共识和Sora》【更多信息】文字和视频版同步上线文字版请前往公众号：语言即世界language is world视频版请前往Bilibili：张小珺商业访谈录

There are no comments yet.

Please log in to write the first comment.