【本期播客精华汇总】幻觉并非总是坏事：论文《Hallucinations Can Improve Large Language Models in Drug Discovery》反常识地发现，在药物发现领域，大语言模型的“幻觉”反而能提升模型性能，为我们重新审视AI的“缺陷”提供了新的视角。拓扑结构约束AI自组织能力：论文《Topological constraints on self-organisation in locally interacting systems》揭示了拓扑结构而非复杂性是系统自组织能力的关键，生物系统的层级拓扑结构是其强大自组织能力的基础，为未来AI架构设计提供了生物启发。人工反馈提升视频生成质量：论文《Improving Video Generation with Human Feedback》通过构建大规模人类偏好数据集和视频奖励模型，有效利用人工反馈改进了视频生成模型，显著提升了视频的视觉质量、运动质量和文本对齐度。 SSM可视为高效ConvNet：论文《Let SSMs be ConvNets：State-space Modeling with Optimal Tensor Contractions》将状态空间模型（SSM）视为一种特殊的卷积神经网络（ConvNet），通过优化张量缩并和借鉴CNN设计理念，构建了高效的Centaurus网络，并在音频处理任务上取得了优异性能。差异化QKV提升LLM效率：论文《Sigma：Differential Rescaling of Query， Key and Value for Efficient Language Models》提出了DiffQKV注意力机制，通过差异化处理Query、Key、Value组件，显著提升了大型语言模型在长文本场景下的推理效率，并在系统领域取得了超越GPT-4的性能。完整推介：https://mp.weixin.qq.com/s/Tp35nZm149DlxzeHNxQQwQ

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related