On Effectiveness and Efficiency of Agentic Tool calling and RL Training

Source #

• Title: On Effectiveness and Efficiency of Agentic Tool-calling and RL Training
• arXiv: https://arxiv.org/abs/2606.00135
• PDF: https://arxiv.org/pdf/2606.00135
• TeX Source: https://arxiv.org/e-print/2606.00135
• Code/Project: arXiv 页面未列出公开代码或项目链接。
• Authors: Tong Liu, Cheng Qian, Matej Cief, Yuan He, Daniele Dan, Nikolaos Aletras, Gabriella Kazai
• Submitted: 2026-05-28
• Current version read: v1, submitted Thu, 28 May 2026 22:21:47 UTC
• Venue / comments: ICML 2026
• Subjects: Machine Learning (cs.LG); Artificial Intelligence (cs.AI)

作者与关系 #

• Tong Liu: LMU Munich / Munich Center for Machine Learning；通讯作者。论文脚注说明其工作完成于 Amazon。
• Cheng Qian: UIUC。
• Matej Cief: Amazon。
• Yuan He: Amazon。
• Daniele Dan: Amazon。
• Nikolaos Aletras: University of Sheffield。论文脚注说明其工作完成于 Amazon。
• Gabriella Kazai: Amazon；通讯作者。

关系判断：

• 同机构作者群：Matej Cief、Yuan He、Daniele Dan、Gabriella Kazai 同属 Amazon，构成论文的产业研究核心。
• 跨机构桥接：Tong Liu 和 Nikolaos Aletras 分别连接 LMU/MCML 与 University of Sheffield，但脚注显示两人的相关工作完成于 Amazon；Cheng Qian 连接 UIUC。整体呈现 Amazon 牵头、欧美高校协作的结构。
• 通讯与项目组织：Tong Liu 与 Gabriella Kazai 为通讯作者。Gabriella Kazai 位于作者列表末位且为 Amazon 通讯作者，关系判断上可能承担项目协调或研究指导角色；具体贡献分工需作者贡献声明进一步确认。
• 与已存档作者重叠：未发现与 2606.04075、2605.31514、2510.19315、2606.06453 的作者重叠。Yuan He 与 Yulan He 为不同署名，当前没有证据显示同一人或直接合作关系。
• 与已存档论文的主题或方法关系：本论文和 2606.04075 都讨论 RL 后训练中优化过程的副作用，但本论文聚焦工具调用训练效率与评测可靠性，2606.04075 聚焦社会规则漏洞发现与安全风险。本论文和 2606.06453 都服务 agent 系统工程效率，前者提升 tool-calling RL 训练效率，后者提升 sparse attention serving 效率。
• 需要后续确认：代码是否公开；Amazon 内部是否存在与 Nova 系列 tool-calling 或 agent 训练直接关联的后续技术报告。

一句话结论 #

这篇论文的核心结论是：agentic tool-calling 的进展同时受“评测怎么做”和“训练怎么算”影响；BFCL 等工具调用基准会被随机种子、多轮模板、推理历史保留、系统提示词和训练数据格式显著扰动，而常规 GRPO/PPO 类 RL 训练又在大量零方差 prompt 和昂贵 policy update 上浪费计算，作者用在线 pre-rollout filtering 与 variance-aware rollout down-sampling 在不降低性能的前提下取得约 1.7x 到 2.6x 的训练提速。

阅读目标与判断边界 #

本笔记关注：

1. 工具调用评测中哪些实现细节足以改变排行榜或论文结论。
2. RL 训练工具调用模型时，计算浪费具体发生在 rollout 还是 policy update。
3. 作者提出的两个提速技巧是否有清晰证据链、适用边界和可复用价值。

判断边界：

• 论文主要以 BFCL 和 ACEBench 为实验环境，不能直接外推到所有真实业务 agent。
• 训练实验集中在 Qwen2.5/Qwen3 小模型和部分 Llama/Qwen 扩展分析，闭源大模型结论主要是对比基线。
• 作者来自 Amazon 及合作高校，论文显式披露 Amazon 开发 Nova-1，且论文中比较了 Nova 相关模型；解读闭源模型对比时应保留利益相关背景。

论文脉络 #

1. 问题背景 #

工具调用已经成为 LLM agent 的核心能力：模型需要根据用户请求选择合适 API、填参数、处理工具返回，并在多轮环境中继续行动。社区用 BFCL、Tau-series、ACEBench 等基准评测该能力，也用 RL 后训练提升工具调用准确性。

作者指出，当前领域有两个容易混在一起的问题：

1. effectiveness：我们测到的工具调用能力是否可靠。
2. efficiency：我们训练出这种能力需要多少有效计算。

如果评测管线本身不稳定，所谓模型提升可能来自模板或提示词差异。如果训练管线浪费大量 rollout 和反向传播计算，继续扩大数据和采样会带来高成本。

2. 核心假设或切入点 #

作者把 tool-calling 看成一个多轮轨迹任务。每个任务包含初始用户请求、工具 schema、系统提示词、历史模型回复、工具输出和后续用户请求。模型每轮生成响应，响应可能包含一个或多个工具调用。

在 GRPO 训练里，一个 prompt 会采样多个 rollout，然后根据 reward 归一化得到 advantage。当同一组 rollout 的 reward 完全相同，advantage 变成 0，这个 prompt 对梯度没有贡献。作者把这类 prompt 称为 zero-variance prompts。

这给论文的后半段提供了切入点：如果大量 prompt 很快全对或全错，rollout 就会浪费；如果工具调用轨迹很长，policy update 又会比 rollout generation 更耗时。

3. 评测可靠性：BFCL 作为 case study #

作者系统检查了几个被工具调用论文经常省略的评测细节：

• 随机种子：单轮 BFCL 较稳定，多轮 BFCL 对种子更敏感，偏差可达约 3%。
• 多轮模板：使用模型原生 role-content message 序列，比把完整历史塞进单个 context prompt 更好；在 Qwen3-8B、Qwen3-4B、Qwen2.5-7B-Instruct 上，多轮 BFCL 提升约 6% 到 8%。
• thinking history：保留跨轮推理历史对 reasoning model 有帮助，Qwen3 系列约提升 2% 到 5%。
• 系统提示词：轻微增强 BFCL 默认 system prompt 后，Qwen3-4B 多轮结果从约 22.9 提升到 36.0 或 37.5；复制默认 prompt 拉长输入仅到 23.6，说明主要收益来自提示内容。
• 训练数据格式：在 0.7k 规模的受控实验里，纯 multi-turn 训练没有提升 multi-turn BFCL，反而从 base 22.7 降到 15.9；纯 single-turn 训练略提升 single-turn，基本保留 multi-turn 能力。

这部分的主张很清楚：工具调用分数同时反映模型能力、评测 serialization、system prompt、历史保留和训练数据分布。

4. RL 训练效率：两个浪费来源 #

作者定位了两个主要瓶颈：

1. rollout waste：单轮 Qwen2.5-3B-Instruct 和多轮 Qwen3-4B 训练里，只有约 20% prompt 是有效 prompt，剩余大多是 all-correct 的 zero-variance prompt，对梯度贡献很低。
2. policy update cost：工具调用序列包含工具 schema、多轮上下文和工具 I/O，反向传播 token 很长；在 VERL 框架下，policy update 在较小 rollout 数 $n=4$ 时已经主导总耗时，并且随 $n$ 增长更快。

5. 两个提速方法 #

第一，online pre-rollout filtering。作者维护每个 prompt 的 all-correct streak，在 epoch 开始时跳过过去 $k$ 个 epoch 全部 rollout 都正确的 prompt。经验观察是，prompt 一旦变成 all-correct，短期内大概率保持 all-correct：$k=1$ 时，single-turn 保持概率通常超过 0.8，multi-turn 超过 0.9。

第二，variance-aware rollout down-sampling。训练时仍生成 $n$ 个 rollout，但只对 $m<n$ 个 rollout 做 policy update，选择原则是最大化 reward variance。直觉上，保留高低 reward 对比最强的样本，就能保留主要学习信号，同时减少反向传播成本。二值 reward 且 $m$ 为偶数时，这近似为从成功和失败样本各选一半。

6. 结果链条 #

在同等 wall-clock 预算下，加入效率方法的 GRPO 优于 vanilla GRPO。作者报告达到相近性能所需时间约减少：

• single-turn tool-calling：约 1.7x speedup。
• multi-turn tool-calling：约 2.6x speedup。

在 BFCL 对比中，Qwen3-4B：

• 使用默认 BFCL prompt：Avg. 53.3。
• 使用 stronger prompt：Avg. 61.0。
• 使用作者 RL 方法后：Avg. 62.1。

在 ACEBench 英文 split 上，Qwen3-4B base overall 为 65.4，Qwen3-4B-RL 为 77.5，提升 12.1 个点。作者还在 HellaSwag、MMLU、TruthfulQA、WinoGrande 上检查通用能力，结果基本未下降。

关键实验/定理 #

结果 1：随机种子影响多轮工具调用 #

• 设置：五个常用模型，BFCL 多个类别，10 个随机种子。
• 指标：BFCL tool-calling accuracy。
• 结果：单轮场景较稳定，多轮场景可出现约 3% 波动。
• 解读：多轮中早期随机差异会改变后续工具调用路径，单次 run 的结论风险较高。

结果 2：多轮模板与 thinking history 改变分数 #

• 设置：比较 native multi-turn template、context template、保留或移除 thinking history。
• 指标：BFCL multi-turn accuracy。
• 结果：native serialization 比 context concatenation 高约 6% 到 8%；保留 thinking history 对 Qwen3 系列提升约 2% 到 5%。
• 解读：工具调用评测必须把对话 serialization 和历史保留策略当作一等配置报告。

结果 3：系统提示词可重塑 baseline #

• 设置：Qwen3-4B BFCL multi-turn，比较默认 prompt、复制默认 prompt、部分增强 prompt、完整增强 prompt。
• 指标：平均输入 token 长度与 BFCL multi-turn accuracy。
• 结果：default 22.9；copying default 23.6；stronger (1&2) 36.0；stronger full 37.5。
• 解读：提升来自任务相关 instruction，而非输入长度本身。prompt 差异足以接近或超过一次 RL 微调收益。

结果 4：训练数据格式未自动迁移到多轮能力 #

• 设置：Qwen3-4B，构造同为约 0.7k 的 single-turn 与 multi-turn 训练集，分别 RL fine-tune 20 epochs。
• 指标：BFCL multi-turn、single-turn non-live、single-turn live。
• 结果：base multi-turn 22.7；single-turn 训练后 20.2；multi-turn 训练后 15.9。
• 解读：multi-turn 训练数据的存在不足以保证多轮能力提升，轨迹质量和与评测分布的对齐更关键。

结果 5：RL 训练大量 prompt 无梯度信号 #

• 设置：Qwen2.5-3B-Instruct 单轮训练与 Qwen3-4B 多轮训练。
• 指标：zero-variance vs non-zero-variance prompt ratio。
• 结果：两类设置中有效 prompt 约 20%。
• 解读：在 reward 二值、工具调用格式较确定的环境里，大量 rollout 会变成重复验证已解决样本。

结果 6：效率方法带来 wall-clock 提速 #

• 设置：vanilla GRPO vs 加入 online pre-rollout filtering 与 variance-aware rollout down-sampling 的 GRPO。
• 指标：同等 wall-clock 下的 BFCL accuracy，以及达到相近 performance 的训练耗时。
• 结果：single-turn 约 1.7x speedup；multi-turn 约 2.6x speedup。
• 解读：该方法主要减少无效 rollout 和高成本 update，在工具调用这种长轨迹任务上特别有效。

证据链强度评估 #

强证据 #

• 评测管线敏感性证据较强：随机种子、多轮模板、thinking history、system prompt 都有明确 ablation。
• RL 训练瓶颈定位较强：zero-variance prompt 比例和 policy update 时间拆分直接对应训练浪费来源。
• 提速证据较直接：作者报告了 matched wall-clock 下的训练曲线，并在 single-turn 与 multi-turn 两类设置上复现收益。

中等强度证据 #

• ACEBench 泛化结果有价值，但主要基于 Qwen3-4B-RL，仍需更多模型和更多 agent 任务验证。
• 下游通用能力不下降的证据覆盖 HellaSwag、MMLU、TruthfulQA、WinoGrande，但这些指标不足以排除更细粒度行为变化。
• 多轮数据质量解释有合理性，作者也用 embedding similarity 支撑，但“轨迹质量”本身还缺少更细的诊断指标。

需要谨慎的推论 #

• system prompt 提升很大，不代表 prompt engineering 可以替代 RL；它说明 baseline 必须标准化，否则方法归因会混乱。
• online filtering 依赖 all-correct prompt 的 temporal stability。在探索性强、reward 噪声大、工具环境变化快的任务里，跳过策略需要更保守。
• max-variance down-sampling 在 single-turn 中作者提到效果不总是稳定，甚至可能伤害性能；它更适合 policy update 成本占主导的场景。

主要启发 #

• 做 tool-calling benchmark 时，必须记录随机种子、system prompt、chat template、history serialization、thinking history 保留策略、工具返回格式和多轮模拟器设置。
• 工具调用论文里的 baseline 需要强 baseline prompt，否则 fine-tuning 收益可能被高估。
• RL 训练日志应额外记录 zero-variance prompt ratio、all-correct/all-wrong 比例、rollout generation time、policy update time 和平均训练 token 长度。
• 对 tool-calling 这类结构化任务，训练效率优化可以从“减少无信号样本”和“减少长轨迹反向传播”两端入手。
• 多轮工具调用数据的核心价值在轨迹质量、错误恢复、工具反馈对齐和评测分布匹配，单纯增加多轮样本量可能带来噪声。
• 安全角度上，更低成本的 tool-calling RL 会降低训练 capable agents 的门槛，因此应同时配套工具权限、调用日志、异常检测和安全评测。

局限 #

1. 主要实验依赖 BFCL 与 ACEBench，真实业务 agent 的工具集合、权限模型和错误恢复机制可能更复杂。
2. 训练主体是 Qwen2.5/Qwen3 小模型，扩展实验显示趋势存在，但大规模闭源模型训练效率不能直接验证。
3. system prompt 的 stronger 版本由人工轻微修改，缺少更系统的 prompt 搜索或跨模型公平 prompt 协议。
4. online pre-rollout filtering 主要跳过 all-correct prompt，对 all-wrong prompt 或 reward 噪声更高的任务没有完整展开。
5. max-variance rollout down-sampling 借鉴已有数学推理工作，本文重点是工具调用场景验证，理论新意有限。
6. 代码或项目链接未在 arXiv 条目公开，复现实验需要等待作者后续发布。

跨论文关系 #

• 与 2606.04075 的作者关系：未发现作者重叠。主题上都讨论 RL 优化闭环，但方向不同。2606.04075 关注 RL 如何在社会规则中发现漏洞，本论文关注 RL 如何更高效地训练工具调用能力，并指出评测细节会改变结论。二者合起来提醒：RL 后训练既可能带来能力提升，也会放大评测、奖励和环境设计的影响。
• 与 2606.06453 的作者关系：未发现作者重叠。主题上都属于 agent 系统工程效率。2606.06453 把 agent 用于 sparse attention 算法搜索和 serving 优化，本论文把优化重点放在 agentic tool-calling 的评测和 RL 训练成本。
• 与 2605.31514 的作者关系：未发现作者重叠。方法论上有连接：2605.31514 提醒不要把表面行为直接解释为人类式属性，本论文提醒不要把 benchmark 分数直接解释为模型内在工具调用能力。
• 与 2510.19315 的作者关系：未发现作者重叠。主题关系较弱，主要连接点是 Transformer/LLM 能力研究；2510.19315 是理论表达简洁性，本论文是 agentic tool-calling 的实证评测和训练效率。
• 新增后应更新的索引 cluster：新增 “Agentic tool-calling 评测与 RL 训练效率” cluster，并在跨论文关系中连接 2606.04075 与 2606.06453。

Reference Intake Brief #

Target #

• Intended target system: paper archive root 论文存档。
• Existing related assets: papers-index.md、2606.04075-llms-hack-rewards-and-society.md、2606.06453-vortex-sparse-attention-serving.md。
• Proposed form: 新建独立 Markdown 文档，并更新总索引。

Reusable Elements #

1. tool-calling evaluation checklist：seed、prompt、template、history、simulator、training-data format。
2. RL training efficiency metrics：zero-variance prompt ratio、rollout/update 时间拆分、有效 prompt retention。
3. agent 安全与治理提示：更低训练成本需要配套工具权限、日志和误用监控。

Risks #

• Copyright/over-copying: 本笔记采用转述与结构化摘要，避免复制长段原文。
• Unsourced or unverifiable claims: 作者机构、版本、提交时间来自 arXiv 页面与 TeX source；跨论文关系为本地分析判断。
• Tone/brand mismatch: 保持中文技术笔记风格，避免营销化表述。
• Safety/compliance issues: 论文涉及 tool-calling agent 能力提升，但不沉淀可直接滥用的工具调用流程。
• Overlap with existing assets: 与 2606.04075 同属 RL/agent 主题，但本篇重点是评测与训练效率。

Skipped #

Material	Reason
完整 system prompt 文本	原文附录已包含长 prompt；本笔记只保留实验含义，避免复制大段可直接复用 prompt。
图像细节逐点复刻	TeX caption 和正文已足够支持摘要；无需保存图像。
全量 BibTeX	当前索引只需要关键引用关系，后续若做专题综述再抽取。

Recommendation #

Decision: merge

Why: 该论文补齐了本目录中 “agent 工具调用评测可靠性 + RL 训练效率” 的主题节点，并与已存档的 RL 安全、agent 系统效率论文形成明确关系。