今天的五篇论文展示了AI在推理、效率和理解上的突破： Learning to Reason under Off-Policy Guidance：提出LUFFY框架，通过外部高质量推理轨迹提升AI数学推理能力，泛化性强，平均提升7%。 Efficient Pretraining Length Scaling：PHD-Transformer通过智能管理KV缓存，实现高效预训练长度缩放，性能提升1.5%-2%，推理速度几乎不变。 MAGIC: Near-Optimal Data Attribution for Deep Learning：MAGIC方法精准预测训练数据对模型的影响，相关性高达0.96，助力模型调试和可解释性。 Exploring How LLMs Capture and Represent Domain-Specific Knowledge：发现大型语言模型在预填充阶段形成领域特定轨迹，用于智能路由，准确率提升12.3%。 LongPerceptualThoughts: Distilling System-2 Reasoning for System-1 Perception：通过合成复杂推理数据，视觉-语言模型学会深度推理，视觉任务提升3.4分，文本推理也意外提升。完整推介：https://mp.weixin.qq.com/s/0IlcYwqQ-GAgZDgh5TCnNQ

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related