来源：arXiv cs.AI / cs.LG / cs.CL · 精选 5 篇（论文日期 2026-07-21，滞后执行日期 2 天）
今日精选
1. GEAR：用证据感知奖励解决长上下文推理中的重复复制问题
- 原标题: Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning
- 作者/机构: Lizhe Fang 等（北京大学）| arXiv
- 核心贡献: ① 揭示长上下文 LLM 推理中的普遍失败模式：模型不分青红皂白地从 prompt 中复制内容，无法聚焦关键证据。② 提出 GEAR（Grounding Evidence-Aware Reward）：在准确率奖励基础上增加 grounding 奖励（与关键证据的 n-gram 重叠）和 distractor 惩罚（与无关内容的重叠）。③ 跨多个模型规模和基准测试，GEAR 比标准准确率 RL 平均提升 +4.6 分，且上下文越长增益越大，同时减少重复复制和推理长度。
- 工程关联: 对使用长上下文 LLM 做 RAG/文档问答的团队有直接价值。GEAR 的 reward shaping 思路可集成到现有 RL 后训练流程中，解决长上下文场景下模型「抄答案抄错地方」的痛点。
- 价值点: 北京大学出品。首次将「证据感知」引入长上下文 RL 奖励设计，将 grounding 从检索阶段推进到训练阶段。+4.6 分的稳定提升和「越长越有效」的特性对长文档理解场景有直接工程意义。
2. Off-Context GRPO：用特权信息让模型在难题上也能学到东西
- 原标题: Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information
- 作者/机构: Priyank Agrawal 等（Meta AI / Columbia University）| arXiv
- 核心贡献: ① 指出标准 RLVR 在难题上的致命缺陷：模型无法生成任何正确解答时，获得零学习信号（「学习悬崖」）。② 提出 Off-Context GRPO（OC-GRPO）：训练时注入特权引导（如解题前缀），生成 off-context rollout 获得非零奖励，再通过重要性校正将目标函数拉回原始无引导分布，避免分布不匹配导致的训练不稳定。③ 在标准数学推理基准上，比 vanilla GRPO 平均提升 3.9%（绝对值）/ 13.8%（相对值），额外成本可忽略。
- 工程关联: 对做 LLM 数学/代码推理 RL 后训练的团队是直接的方法改进。当前 RLVR 的核心痛点——难题上学不动——被优雅解决：用引导 rollout 突破零奖励困境，同时通过重要性校正保持目标一致性。
- 价值点: Meta AI 出品。OC-GRPO 的核心洞察——「训练时可以用提示，但目标函数必须校正回去」——对 GRPO/DAPO 等主流 RL 后训练框架的难题学习瓶颈有普适参考价值。实现简洁（仅修改 GRPO 的 rollout 来源和目标校正）。
3. Agents in the Wild：从研究原型到生产部署的 Agent 系统设计模式
- 原标题: Agents in the Wild: Where Research Meets Deployment
- 作者/机构: Grace Hui Yang 等（Georgetown University / Salesforce / Bloomberg / Microsoft Research / Bayer）| arXiv
- 核心贡献: ① 系统性梳理 Agent 系统从研究到生产的鸿沟：学术工作强调 benchmark 和算法创新，但部署带来鲁棒性、安全性、可靠性新挑战。② 通过制药发现和金融系统的实际案例，提炼出成功 Agent 系统的通用设计模式：验证管线、降级机制、人在回路监督。③ 提供完整的评估清单和部署模板，覆盖推理与规划、多 Agent 协调、评估三个维度。
- 工程关联: 对正在将 Agent 系统推向生产的团队是直接的操作手册。不是又一个 benchmark 论文，而是来自 Salesforce/Bloomberg/Microsoft 一线部署经验的模式提炼——验证管线、降级机制、人在回路监督都是工程实践中反复踩坑的点。
- 价值点: 多机构联合（Georgetown + Salesforce + Bloomberg + Microsoft Research + Bayer）。首次在学术论文中系统性提炼 Agent 部署的「失败模式→缓解策略」映射，评估清单和模板可直接用于团队内部 Agent 系统的生产化评审。
4. LangGraph 实战指南：长时运行有状态业务流程的图式 Agent 工作流
- 原标题: Graph-Based Agentic AI with LangGraph: Workflow Pathways for Long-Running Stateful Business Processes
- 作者/机构: Daniel Pearson 等（University of Lethbridge / Universidad de Guadalajara / Al Hussein Technical University）| arXiv
- 核心贡献: ① 面向长时运行、有状态、多步骤的生成式 AI 业务流程，提出三个可执行的 LangGraph 工作流配方：SQL 分析+修复循环、带证据门控的 Agentic RAG、人在回路的策略审核+中断/检查点恢复。② 明确 LangGraph 的适用边界：当类型化状态、条件路由、确定性工具、重试、中断、检查点、追踪是产品契约的一部分时才值得使用；简单 ReAct 循环或 DSPy 在各自场景更合适。③ 将路由、暂停、审计追踪从「隐藏的 prompt 逻辑」显式化为产品行为。
- 工程关联: 对使用 LangGraph 构建生产级 Agent 系统的团队是即用的架构参考。三个配方覆盖了最常见的企业场景（数据分析、RAG、审批流），且明确给出了「何时不该用 LangGraph」的判断标准。
- 价值点: 罕见的「 practitioner guide」型论文，不追求 SOTA 数字而是解决工程选型问题。「LangGraph 适用边界」的清晰界定（vs ReAct/DSPy/plain SDK）和三个完整可执行配方，对 Agent 工程师的技术选型有直接参考价值。
5. ISO：面向 RLVR 的原生优化栈
- 原标题: ISO: An RLVR-Native Optimization Stack
- 作者/机构: Hanqing Zhu 等（xAI / UT Austin）| arXiv
- 核心贡献: ① 指出 RLVR 快速发展但优化层（将奖励反馈转化为权重更新）仍沿用通用深度学习优化器，存在效率瓶颈。② 提出 ISO：专为 RLVR 设计的优化栈，从理论出发重新设计优化层的各个组件（学习率调度、梯度处理、优势归一化等），匹配 RLVR 的奖励结构和 rollout 特性。③ 在标准 RLVR 基准上，ISO 以更低计算开销达到或超越现有优化方案。
- 工程关联: 对做 LLM RL 后训练（GRPO/DAPO/PPO）的团队是系统级优化方案。当算法层面的改进（如 OC-GRPO）已经成熟时，优化层的效率成为下一个瓶颈——ISO 填补了这个空白。
- 价值点: xAI 出品（作者为 Grok 4.5 核心贡献者）。首次将 RLVR 的优化层作为独立系统问题系统解决，而非简单复用 AdamW + cosine schedule。对理解「为什么同样的 RL 算法在不同工程实现下效果差异巨大」有直接启发。
今日关键词
证据感知奖励 · Evidence-Aware Reward · 长上下文推理 RL · Long-Context Reasoning RL · 特权信息引导 · Privileged Information Guidance · Off-Context GRPO · Agent 部署模式 · Agent Deployment Patterns · 有状态工作流 · Stateful Workflow · RLVR 优化栈 · RLVR-Native Optimization Stack · LangGraph 工程选型 · LangGraph Engineering