来源：arXiv cs.AI / cs.LG / cs.CL · 精选 5 篇（论文日期 2026-07-17，滞后执行日期 4 天）
今日精选
1. 多智能体系统何时有用？信息瓶颈视角的理论分析
- 原标题: When Do Multi-Agent Systems Help? An Information Bottleneck Perspective
- 作者/机构: Wendi Yu, Lianhao Zhou, Xiangjue Dong 等（Texas A&M University）| arXiv
- 核心贡献: ① 核心发现：单 Agent（SAS）在共享上下文中累积完整推理轨迹，而多 Agent（MAS）通过有限的中继消息通信——当带宽无限时，MAS 可模拟任何 SAS，真正的优势仅在受限通信下才出现。② 将 MAS 的设计形式化为信息瓶颈优化问题：引入有效参数 β 捕获模型能力与压缩效率的权衡——压缩冗余上下文可提升效率，但也可能丢失任务相关信息。③ 在 5 个基准、3 种模型规模上进行 18 组控制实验：弱模型在通信接近无损时 MAS 收益最大；强模型已能从冗余上下文中提取有用信息，压缩带来的增益很有限甚至为负。
- 工程关联: 对正在构建或优化 Multi-Agent 系统的工程团队有直接的架构指导意义——并非任何场景下 MAS 都优于 SAS。关键决策变量是「Agent 间通信带宽的相对充足程度」和「基础模型能力」：弱模型 + 窄通信场景优先考虑压缩冗余，强模型 + 充足上下文考虑单 Agent。这一信息瓶颈框架可作为 MAS 系统设计的理论决策工具。
- 价值点: Texas A&M 出品，首次从信息论角度为「何时该用多 Agent」这一工程关键问题提供理论框架和系统性实验证据。18 组控制实验的 β 参数分析为 Agent 系统架构选型提供了可操作的量化参考。
2. 从预训练到后训练：系统理解 LLM 推理能力的诞生
- 原标题: Understanding Reasoning from Pretraining to Post-Training
- 作者/机构: Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, Matus Telgarsky, Pavel Izmailov（New York University / CILVR Group）| arXiv
- 核心贡献: ① 回答两个核心问题：预训练选择（模型规模、数据量）如何塑造 RL 后训练的回报？RL 到底对模型做了什么？② 以国际象棋为受控实验平台，完整走通 5M→1B 参数的预训练→SFT→RL 全流程：发现 RL 后的性能可由预训练损失很好预测，RL 奖励曲线的斜率随预训练 token 数近似线性增长。③ 关键洞察：RL 不仅仅是「锐化 SFT 策略」——简单题目上 RL 放大 SFT 已有的正确选择，困难题目上 RL 能够挖掘 SFT 阶段几乎不出现的正确走法。在数学领域 1B 模型上验证了同样规律。
- 工程关联: 对规划和执行 LLM 预训练+后训练全流程的团队是方法论级别的指导——预训练损失的预测能力意味着可在投入昂贵 RL 计算前判断当前基座模型的潜力；RL 斜率与预训练 token 的线性关系为计算预算分配提供了量化依据。
- 价值点: NYU CILVR 出品（Pavel Izmailov 曾在 OpenAI/Anthropic 工作）。首次以受控实验（非不可控的海量预训练语料）研究预训练→RL 的全链路因果规律，发现了「RL 可挖掘预训练中潜在正确行为」这一关键机制——对理解 o1/o3 等推理模型的能力来源有直接启发。
3. CRAFT：从评测评分到能力诊断——聚类评分标准精准定位 LLM 弱点并生成定向微调数据
- 原标题: CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data
- 作者/机构: Vipul Gupta, Zihao Wang, Razvan-Gabriel Dumitru 等（Scale AI）| arXiv
- 核心贡献: ① 指出当前评测流程只能回答「模型哪里弱」，不能回答「为什么弱」——一个低分可能对应多个不同的能力缺陷。② CRAFT 将评分标准（rubric）作为能力探针：从 prompt-rubric 对中提取能力描述→聚类为层级能力树→逐节点评分→动态选择最优粒度的低分节点→据此生成定向 SFT 数据。③ 在 4 个开源模型、金融和法律两个专业领域、13 个与诊断数据不重叠的留存基准上验证：金融领域 CRAFT 全面最优，法律领域 3/4 模型最优。
- 工程关联: 对做 LLM Post-Training / Fine-Tuning 的团队是评测→改进闭环的方法论升级。当前大多数团队靠「看低分题目」直觉判断微调方向——CRAFT 将这一过程自动化、系统化，从评分标准级别（而非题目或类别级别）诊断弱点并生成定向训练数据，显著提升了微调效率。
- 价值点: Scale AI 出品，18 页。首次将 LLM 评估从「打分排名」推进到「能力诊断+定向修复」的完整闭环，rubric 级别的诊断粒度是核心创新。金融/法律双领域的验证表明该方法在专业场景中尤为有效。
4. PagedWeight：MoE 大模型推理的动态量化内存管理
- 原标题: PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization
- 作者/机构: Yuchen Yang, Yifan Zhao, Anisha Dasgupta, Sasa Misailovic（University of Illinois Urbana-Champaign）| arXiv
- 核心贡献: ① 核心矛盾：MoE 模型在 KV-cache 密集型推理场景中，模型权重和 KV cache 竞争 GPU 显存——现有方案各自优化一方，未联合考虑。② PagedWeight 在运行时动态量化 MoE 权重，同时根据 KV cache 需求实时调整量化精度，首次暴露并导航了准确率-显存-吞吐量/延迟的三维权衡空间。③ 效果：FP16 等效精度下最高节省 72.0% GPU 显存、吞吐量提升 1.94×；同等显存预算下，质量比静态量化方法最高提升 39.3%，吞吐损失仅 ≤4.1%。
- 工程关联: 对部署和运维 MoE 大模型（如 Mixtral、DeepSeek-V2/V3 等）的工程团队是直接的推理优化方案。PagedWeight 的动态精度调整机制——根据上下文长度实时在专家权重精度和 KV cache 容量之间切换——可显著降低长上下文推理场景的 GPU 成本，尤其适用于 RAG、长文档分析等 KV cache 密集型工作负载。
- 价值点: UIUC 出品。72% 显存节省 + 1.94× 吞吐提升 + 仅 ≤4.1% 吞吐损失的组合极具工程吸引力。首次将 MoE 推理中的权重精度与 KV cache 分配作为联合优化问题处理，为 vLLM 等推理框架的 MoE 支持提供了新的设计思路。
5. BayesPO：贝叶斯后验采样视角下的提示词自动优化
- 原标题: BayesPO: Bayesian Prompt Optimization via Parallel-Tempered Gradient-Guided Discrete MCMC
- 作者/机构: Junjie Zhou, Zhijian Ou（清华大学）| arXiv
- 核心贡献: ① 将提示词优化重新定义为离散 token 空间上的贝叶斯后验采样：联合任务似然（prompt 解释输入-输出示例的能力）和语言模型先验（prompt 的流畅性），转化为能量模型的后验采样问题。② 提出 BayesPO 框架：用梯度引导的离散 MCMC（Metropolis-Hastings corrected Gibbs-with-Langevin）探索离散提示词空间，引入并行回火（parallel tempering）应对 LLM 诱导的崎岖能量景观。③ 在 Qwen2.5 上实验：24 个指令归纳子任务上，对 APE 提示词进行后优化将平均准确率从 60.04% 提升至 63.23%；并行回火成功帮助诗歌补全任务跳出局部最优。
- 工程关联: 对需要自动化提示词工程的团队（如批量评估、AB 测试 prompt 变体、模型切换时 prompt 迁移）提供了原理性更强的替代方案。相比启发式搜索，贝叶斯后验采样具有更好的探索能力和理论保证。局限点：当前采样器计算开销较大，能量最小化可能在小优化集上过拟合。
- 价值点: 清华大学出品。首次将提示词优化从「启发式搜索」提升到「贝叶斯后验采样」的理论框架——离散 MCMC + 并行回火的组合优雅且有效。虽然当前计算开销是实用化障碍，但该框架为未来概率化 prompt 优化奠定了理论基础。
今日关键词
多智能体信息瓶颈 · Multi-Agent Information Bottleneck · 预训练到后训练 · Pretraining-to-Post-Training · 评分标准能力诊断 · Rubric-Based Capability Diagnosis · MoE 动态量化 · MoE Dynamic Quantization · 贝叶斯提示词优化 · Bayesian Prompt Optimization · 推理能力涌现 · Reasoning Emergence · GPU 显存管理 · GPU Memory Management · 定向微调数据生成 · Targeted Fine-Tuning Data Generation