Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling

Source #

• Title: Breaking Entropy Bounds: Accelerating RL Training via MTP with Rejection Sampling
• arXiv: https://arxiv.org/abs/2606.12370
• HTML v1: https://arxiv.org/html/2606.12370v1
• PDF: https://arxiv.org/pdf/2606.12370v1
• Code/Project: SGLang rejection sampling implementation；vLLM Gumbel-Max implementation
• Authors: Yucheng Li, Huiqiang Jiang, Yang Xu, Jianxin Yang, Yi Zhang, Yizhong Cao, Yuhao Shen, Fan Zhou, Rui Men, Jianwei Zhang, An Yang, Bowen Yu, Bo Zheng, Fei Huang, Junyang Lin, Dayiheng Liu, Jingren Zhou
• Submitted: 2026-06-10
• Current version read: v1, submitted 2026-06-10
• Subjects: Machine Learning (cs.LG)
• Organization: Qwen Team, Alibaba Inc.

作者与关系 #

• Yucheng Li: Qwen Team, Alibaba Inc.
• Huiqiang Jiang: Qwen Team, Alibaba Inc.
• Yang Xu: Qwen Team, Alibaba Inc.
• Jianxin Yang: Qwen Team, Alibaba Inc.
• Yi Zhang: Qwen Team, Alibaba Inc.
• Yizhong Cao: Qwen Team, Alibaba Inc.
• Yuhao Shen: Qwen Team, Alibaba Inc.
• Fan Zhou: Qwen Team, Alibaba Inc.
• Rui Men: Qwen Team, Alibaba Inc.
• Jianwei Zhang: Qwen Team, Alibaba Inc.
• An Yang: Qwen Team, Alibaba Inc.
• Bowen Yu: Qwen Team, Alibaba Inc.
• Bo Zheng: Qwen Team, Alibaba Inc.
• Fei Huang: Qwen Team, Alibaba Inc.
• Junyang Lin: Qwen Team, Alibaba Inc.
• Dayiheng Liu: Qwen Team, Alibaba Inc.
• Jingren Zhou: Qwen Team, Alibaba Inc.

阅读目标与判断边界 #

本笔记关注：

1. 为什么 MTP 直接用于 RL rollout 会出现 acceptance degradation。
2. 作者如何把问题从 “policy 更新导致 draft-target mismatch” 重定位到 “entropy 约束 acceptance”。
3. target-only sampling、rejection sampling、CE/KL、TV loss 在 acceptance 机制上的差异。
4. Bebop 与 verl fully async、Seer grouped SD、GLM-5/slime、MiniMax-M1 MTP/CISPO、DeepSeek-V4 MTP/OPD 的关系。
5. 这篇论文对后续 RL 系统中的 rollout acceleration、acceptance logging 和 MTP head 训练有什么实践启发。

判断边界：

• 论文是 Qwen/Alibaba 内部大规模模型上的系统+方法研究，外部可复现性依赖 Qwen3.5/3.6/3.7 模型、SGLang/vLLM MTP 实现和大规模 async RL pipeline。
• 论文主贡献集中在 MTP acceptance、rollout throughput 和 RL wall-clock latency 改善；最终任务质量提升属于次要观察。
• 理论部分使用关于 mismatch 结构的建模假设，作者在 limitation 中说明这些假设带有启发式性质。
• TV loss 的 entropy invariance 只覆盖 SFT/pre-RL adaptation 数据分布覆盖到的 entropy range；若 RL 探索把 policy entropy 推到分布外，仍可能需要 RL 阶段 TV co-training。

论文脉络 #

1. 研究问题、背景和价值 #

LLM RL 的训练成本越来越多由 rollout 阶段决定。无论是数学/代码 reasoning，还是 SWE-bench 类 agentic RL，模型都要生成长 CoT、多轮工具调用、sandbox 交互和长上下文轨迹。即使系统采用 async RL、partial rollout 或更好的调度，rollout 仍然是主要 wall-clock 瓶颈。

MTP / Multi-Token Prediction 看起来是自然解法。它给 backbone LLM 加轻量 draft heads，一次预测多个未来 token，然后由 target model 在一次 forward 中并行验证。若 acceptance length 足够高，单请求 decode latency 会下降，rollout throughput 会提升。

问题在于，RL 阶段的 MTP acceptance 经常下降。论文给出的 SWE-bench RL 观察是：MTP 后续 step 的 degradation 更明显，step 1 下降 1.2%，step 2 下降 2.6%，step 3 下降 3.5%。对 multi-step MTP 来说，acceptance 是乘法结构：

$$\mathbb{E}[L] = \sum_{j=1}^{\gamma} \prod_{i=1}^{j} \alpha_i$$

后面 step 的小幅下降会复合成明显吞吐损失。

解决这个问题的价值很直接：如果 MTP 可以稳定加速 RL rollout，大规模 post-training 可以节省大量 GPU hours；agentic RL 中长轨迹、低 batch concurrency 和工具调用导致的 bubble 也会变小；同时，系统可以在不改变 RL objective 的情况下提高训练吞吐。

2. 已有解决方案与不足 #

已有路线大致有三类。

第一类是系统异步化，例如 verl one-step-off / fully async、GLM-5/slime、Seer 的 synchronous rollout optimization。它们改善 trainer/rollout overlap、tail latency 和 scheduling，但单条长 response 的 decode cost 仍然存在。

第二类是常规 speculative decoding 或 MTP 推理加速。MTP 在 pretraining / serving 阶段已经有效，但 RL 训练中的 policy entropy 和 target distribution 会持续变化，直接拿离线 MTP heads 加速 rollout，acceptance 会不稳定。

第三类是 RL 阶段在线更新 MTP heads。这个做法把问题理解为 policy 更新后 target 与 frozen draft 不匹配，因此尝试在 RL 中同步训练 MTP。但它会引入额外显存、optimizer states、backward cost 和系统复杂度。对已经昂贵的 RL pipeline 来说，这个额外成本很可能抵消 MTP 推理收益。

论文指出，之前不足的根源在问题归因：很多工作把 degradation 主要归因于 policy-draft mismatch，而 Bebop 的 decomposition 显示，在 rejection sampling + CE loss 路径下，acceptance degradation 几乎全部由 entropy-driven component 解释，mismatch residual 接近零。

3. 作者可能的思考路径 #

可以重建出作者可能的思路：

1. RL rollout 成本高，MTP 是一个成熟的单请求 decode acceleration 方案，因此先尝试把 MTP 放进 async RL rollout。
2. 实测发现直接启用 MTP 的 speedup 不稳定，acceptance rate 会随 RL step 和 MTP position 下降。
3. 直觉上有两个候选原因：policy 权重更新导致 frozen MTP head 过时；RL 采样需要较高 entropy，使 target distribution 变得更分散。
4. 若是第一个原因，在线更新 MTP 是合理方案；若是第二个原因，在线更新 MTP 未必解决核心问题，因为即使 draft 很准，高 entropy target 的 top-1 probability 也会限制 greedy target-only acceptance。
5. 于是作者分解 acceptance change：用 entropy-acceptance 线性关系解释一部分，用剩余项表示 mismatch。结果显示 entropy 项主导，尤其在 rejection sampling + CE loss 下 mismatch 很小。
6. 接下来问题变成：既然 entropy 是主要变量，acceptance method 和 MTP training objective 能否改变 entropy 到 acceptance 的映射？
7. Target-only sampling 依赖 draft top-1 token 是否落在 target 高概率位置，本质受 $\max_y p(y)$ 限制；rejection sampling 的 acceptance 是完整分布 overlap $\sum_y \min(p(y), q(y))$，对 ranking flip 更平滑。
8. 若 acceptance 由 TV overlap 决定，CE/KL 训练 MTP heads 就存在目标错位。它们优化 KL 或 cross-entropy，给长尾 token 分配大量优化压力，却没有直接最大化 rejection sampling 的 overlap。
9. 因此自然得到 Bebop 的 idea：使用 rejection sampling 作为 verification method，再用 TV loss / e2e TV loss 直接训练 MTP heads，使训练目标、接受率公式和系统吞吐指标一致。

4. 核心假设或切入点 #

核心假设有三条：

1. RL 中 MTP acceptance degradation 的主要解释变量是 policy entropy fluctuation。
2. Rejection sampling 相比 target-only sampling，更适合高 entropy、ranking 易变化的 RL rollout。
3. MTP head 的训练目标应该直接优化 rejection sampling 的接受率，也就是最小化 target distribution 与 draft distribution 的 TV distance。

5. 方法 / 系统 / 理论框架 #

5.1 Target-only sampling #

Target-only sampling 先用 draft distribution 取 greedy token：

$$\hat{y}=\arg\max_y q(y)$$

然后用 target probability 接受：

$$\alpha^{\mathrm{TO}} = p(\hat{y}) = p(\arg\max_y q(y))$$

当 draft top-1 与 target top-1 对齐时，acceptance 近似受 $\max_y p(y)$ 控制。高 entropy 下 target mass 分散，$\max_y p(y)$ 下降，因此 target-only acceptance 会随 entropy 增加而下降。

论文给出近似关系：

$$\alpha^{\mathrm{TO}} \approx a^{\mathrm{TO}} - b^{\mathrm{TO}}\mathcal{H}(p)$$

5.2 Rejection sampling #

Rejection sampling 从 draft distribution 中采样 $\hat{y}\sim q$，并以概率接受：

$$\min\left(1,\frac{p(\hat{y})}{q(\hat{y})}\right)$$

其期望单步 acceptance 是：

$$\alpha^{\mathrm{RS}} =\mathbb{E}_{\hat{y}\sim q}\left[\min\left(1,\frac{p(\hat{y})}{q(\hat{y})}\right)\right] =\sum_y \min(p(y),q(y)) =1-d_{\mathrm{TV}}(p,q)$$

这保留 unbiased guarantee：输出分布严格等于 target distribution $p$。它的系统代价是要缓存或重建 draft probability / logits，并在 verification 中计算 acceptance ratio 与 residual distribution。

5.3 TV loss #

既然 rejection sampling 的 acceptance 由 TV overlap 决定，Bebop 直接最小化：

$$\mathcal{L}_{\mathrm{TV}}=d_{\mathrm{TV}}(p,q)=1-\sum_{v\in\mathcal{V}}\min(p(v),q(v))$$

其中 target distribution $p$ detached，梯度只流入 draft head $q$。令 $A=\{v\mid q_v\le p_v\}$，对 draft logits $z_j$，梯度可写成：

$$\begin{aligned} \frac{\partial \mathcal{L}_{\mathrm{TV}}}{\partial z_j} &= -q_j\left(\mathbf{1}_{\{j\in A\}}-S\right) \\ &= -q_j\left(\mathbf{1}_{\{q_j\le p_j\}}-S\right), \qquad S=\sum_{v\in A}q_v =\sum_v \mathbf{1}_{\{q_v\le p_v\}}q_v . \end{aligned}$$

这里使用 $\mathbf{1}_{\{\cdot\}}$ 表示 indicator function，避免部分 Markdown/KaTeX 渲染路径中对特殊 indicator 宏支持不稳定。该梯度的关键性质是整体与 $q_j$ 成比例：低概率 tail token 的梯度自然接近 0，优化压力集中在 draft 已经认为可能的 token 和 acceptance decision boundary 附近。

5.4 End-to-end multi-step TV loss #

多步 MTP 的目标是 expected accepted length。Bebop 因此提出：

$$\mathcal{L}_{\mathrm{e2e}} =1-\frac{1}{\gamma}\sum_{j=1}^{\gamma}\prod_{i=1}^{j}\alpha_i =1-\frac{1}{\gamma}\sum_{j=1}^{\gamma}\prod_{i=1}^{j}(1-d_{\mathrm{TV}}(p_i,q_i))$$

这个目标会自然给早期 MTP steps 更大权重，因为早期 step 的 acceptance 出现在更多乘积项里。它比固定位置权重更贴近 speculative decoding 的真实收益。

5.5 RL adaptation strategy #

Bebop 的实践 recipe 是：

1. 在 RL 前的 SFT / adaptation 阶段，用 full-vocabulary e2e TV loss 训练 MTP heads。
2. RL rollout 使用 rejection sampling，替换 target-only greedy verification。
3. 默认不在 RL 阶段持续更新 MTP heads，因为 decomposition 显示主要矛盾集中在 entropy fluctuation。
4. 若 RL 探索把 entropy 推到 pre-RL 数据覆盖范围外，再考虑用 TV loss 做 online MTP co-training。

5.6 系统实现 #

SGLang 实现采用 multinomial draft sampling：draft 阶段从 $q$ 采样 token 并缓存完整 draft probability vector；verification 阶段用 fused Triton kernel 顺序接受每个 draft token，拒绝时从 residual distribution

$$p_{\mathrm{resid}}(v)\propto \max(0,p(v)-q(v))$$

中重新采样。

vLLM 实现使用 Gumbel-Max trick，避免 residual resampling 中显式 CDF inversion：draft 阶段缓存温度缩放后的 draft logits，verification 阶段分成 acceptance kernel 和 residual logits kernel。

6. 结论链条 #

论文的证据链是：

1. RL rollout 是 post-training 的主要瓶颈，MTP 是直接的 decode acceleration 候选。
2. 直接使用 MTP 会在 RL 中出现 acceptance degradation。
3. degradation 可分解为 entropy component 与 mismatch component；实验证据显示 entropy 是主导因素。
4. target-only acceptance 受 $\max_y p(y)$ 约束，高 entropy 时天然下降。
5. rejection sampling 的 acceptance 是 TV overlap，对 ranking shift 更平滑，并保持 target distribution unbiased。
6. CE/KL 训练目标和 rejection sampling acceptance 目标不一致。
7. TV/e2e TV loss 直接优化 acceptance 相关量，使 MTP acceptance 对 entropy fluctuation 更稳定。
8. pre-RL TV adaptation + rejection sampling 就能在 RL 中保持高 acceptance，降低在线更新 MTP 的必要性。
9. 大规模 Qwen3.5/3.6/3.7 实验证明该 recipe 在 reasoning、code、SWE 和 agentic RL 中带来稳定 acceptance 与 wall-clock speedup。

关键实验/定理 #

结果 1：target-only acceptance 受 entropy 约束 #

• 设置：分析 target-only sampling 下，draft greedy token 被 target 接受的概率。
• 关键表达：

$$\alpha^{\mathrm{TO}}=p(\arg\max_y q(y))$$

• 结论：当 draft top-1 排名正确时，acceptance 近似为 $\max_y p(y)$；$\max_y p(y)$ 随 target entropy 增加而下降。
• 解读：高 entropy 是 RL 探索常见状态，因此 target-only MTP 在 RL 中有结构性 acceptance 上限。

结果 2：rejection sampling acceptance 等于 TV overlap #

• 设置：draft token 从 $q$ 采样，target 用 $\min(1,p/q)$ 接受。
• 关键表达：

$$\alpha^{\mathrm{RS}}=\sum_y \min(p(y),q(y))=1-d_{\mathrm{TV}}(p,q)$$

• 结论：RS 的目标量是 full distribution overlap，高于 top-1 ranking 视角。
• 解读：这解释了为什么 acceptance method 会改变 MTP 在 RL 里的鲁棒性。

结果 3：TV loss 的梯度更贴近 acceptance #

• 设置：比较 CE/KL、reverse KL、TV loss 的梯度结构。
• 结果：TV loss 梯度与 $q_j$ 成比例，并且有 bounded gradient。
• 解读：CE/KL 会在长尾 token 上消耗优化资源；TV loss 会把学习压力放在 draft distribution 已经覆盖的 token 上，更适合提升 overlap。

结果 4：Qwen3.5-35A3B 上 e2e TV 提升 RS acceptance #

• 设置：Qwen3.5-35A3B，mixed RFT data，global batch size 256，sequence length 256K，冻结 backbone，训练 5-step MTP，评估 $\gamma=3$。
• 指标：rejection sampling acceptance rate。
• 结果：

Loss	Math	Code	SWE	Agent	MTBench OOD
CE baseline	75.0	71.3	75.1	90.3	65.3
KL delta	+0.0	+0.0	+0.2	+0.2	+0.0
Reverse KL delta	+1.3	+1.0	-0.2	+1.0	+0.5
TV delta	+2.4	+2.5	+3.3	+5.2	+1.4
e2e TV delta	+3.0	+3.3	+8.0	+6.7	+2.3

• 解读：提升最大出现在 SWE/Agent，说明长轨迹、结构化输出和高 entropy agentic workload 对 TV loss 更敏感。

结果 5：不同模型规模上的 acceptance #

• 设置：Qwen3.6/3.7 多模型，多任务，$\gamma=3$。Qwen3.7 模型使用 e2e TV，其他多为 CE。
• 结果：

Model	Math	Code	Hybrid	SWE	Agent	Long-horizon	MTBench
Qwen3.7-Max	87.6	87.7	78.1	81.9	94.6	77.2	73.2
Qwen3.7-Plus	87.4	85.7	75.3	79.2	98.6	78.0	74.3
Qwen3.6-Plus	82.2	78.7	72.2	75.2	99.1	75.6	71.0
Qwen3.6-27B	79.9	76.7	71.9	72.3	96.3	69.5	67.5
Qwen3.6-35A3B	78.3	74.4	69.2	71.3	97.1	71.3	65.2

• 解读：agent task acceptance 高到接近 saturation，说明结构化工具/格式输出对 MTP 友好；MTBench OOD 相对低，提示 domain coverage 仍重要。

结果 6：RL 阶段稳定 acceptance 与 latency speedup #

• 设置：Reasoning RL 最大生成 64K；SWE RL 最大生成 128K、最多 200 turns；SGLang rollout engine；async RL framework built on veRL；learning rate 1e-6 或 2e-6。
• 结果：
  • RS w/ TV 在 Reasoning、SWE、Qwen3.7-Max SWE 中维持更高 accept length。
  • entropy-acceptance slope 从约 -1.68 降到约 -0.06，降低超过 95%。
  • 相比无 MTP，MTP + RS 带来 1.5-1.8x per-step RL latency reduction。
  • agentic RL rollout phase 最高 2.4x speedup。
  • async RL pipeline 端到端最高 1.8x acceleration。
• 解读：Bebop 的主收益来自稳定 rollout acceleration，RL 算法本身保持原有框架。

结果 7：RL 中持续更新 MTP heads 收益有限 #

• 设置：比较 RS w/ TV checkpoint 后续用 TV loss 或 CE loss online update MTP，以及 TO + CE loss update。
• 结果：well-trained MTP heads 在 RL 中继续更新收益不明显；用 CE loss 更新会把 distribution pattern 拉回 CE baseline，acceptance 下降；target-only + CE update 甚至可能因为 mismatch 降低 acceptance。
• 解读：如果使用 RS + TV pre-adaptation，在线更新 MTP 只在 RL entropy 进入 pre-RL 分布外区域时更值得考虑。

结果 8：RS decision boundary 与温度/长度分析 #

• 设置：八个 native MTP models，三类任务，比较 RS 与 target-only。
• 结果：23/24 model-task combinations 落在 RS-better region；判据是：

$$d_{\mathrm{TV}}(p,q)<1-p(\hat{y}),\quad \hat{y}=\arg\max_y q(y)$$

• 结果：温度越高，target-only acceptance 下降更明显；RS 在不同温度下更稳定。长 generation 中 acceptance 会随位置变化，早期位置通常 entropy 较低、acceptance 较高。
• 解读：RL 中 temperature / entropy / generation position 都应该成为 MTP rollout 监控指标。

证据链强度评估 #

强证据 #

• 大规模内部 Qwen3.5/3.6/3.7 模型、多任务、多 workload 的 acceptance 与 latency 实验支撑主要结论。
• TV loss 相比 CE/KL 的 acceptance 提升有明确表格和跨任务趋势。
• RS vs target-only 的差异有理论公式、decision boundary 和温度实验共同支撑。
• pre-RL adaptation 足够的判断有 decomposition 和 online update ablation 支撑。

中等强度证据 #

• entropy 是主导因素的结论依赖线性 decomposition 和早期 slope estimate；实验趋势强，但仍是建模化归因。
• TV loss 让 mismatch 从 uniform 变为 probability-proportional 的说法与梯度结构一致，但作者也承认形式化证明仍可加强。
• 端到端 1.8x acceleration 基于 Qwen 内部 async RL pipeline，外部系统未必有同样 rollout/trainer/engine 组成。

需要谨慎的推论 #

• 不应把 “无需在线 MTP update” 泛化到所有 RL setting；如果 RL entropy 超出 pre-RL adaptation coverage，作者建议考虑 TV co-training。
• 不应把 acceptance 提升直接等同于最终模型质量提升；论文主要评估系统效率。
• RS 需要缓存 draft probabilities/logits 和 residual resampling，实际收益取决于 inference engine kernel、batch size、vocab size、MTP step 数和显存压力。

OpenReview / 审稿意见吸收 #

• Venue status: 当前档案未记录公开 peer-review 状态。
• Public reviews: 当前档案未记录可可靠匹配的 OpenReview / ARR / 会议 reviewer comments。
• Ratings / confidence: 无公开评分可用于校准。
• Reviewer consensus: 暂无。
• Main criticisms: 暂无公开 reviewer 质疑可引用；可信度主要由论文、技术报告、项目证据和本地一致性检查决定。
• Author response: 暂无公开 rebuttal 记录。
• 对本文可信度的影响: 按未完成公开审稿吸收处理，结论需要依赖实验设置、baseline 强度、复现证据和跨论文一致性校准。

本地讨论补充 #

1. 讨论收敛点 #

• 初始归档结论：Bebop 是 “MTP for RL rollout” 的机制校准论文。它把 MTP 在 RL 中失效的解释从 “draft head stale” 推进到 “entropy-bound acceptance + objective mismatch”。

2. 修正后的理解 #

• Rejection sampling 的价值包括 unbiased sampling 和目标重写：acceptance 从 top-1 ranking 转为 full distribution overlap。
• TV loss 的价值在于让 MTP 训练目标与 RS verification 的接受率公式一致。
• 2211.17192 已经给出 speculative sampling 的核心概率机制：草稿分布 $q$ 采样后以 $\min(1,p/q)$ 接受，失败时从 $\mathrm{norm}(\max(0,p-q))$ residual distribution 采样，因此最终 token 分布保持为 target $p$，期望接受率等于 $\sum_x \min(p(x),q(x))=1-d_{\mathrm{TV}}(p,q)$。Bebop 的 TV loss 是把这个接受率公式转成 MTP head 的训练目标，并扩展到多步 expected accepted length。
• pre-RL adaptation 的成立依赖一个经验前提：RL policy update 引起的 draft-target mismatch 相比 entropy fluctuation 小。

3. 后续复验指标 #

• 每步 policy entropy、accept length、per-step acceptance $\alpha_i$。
• target-only vs RS 的 decision boundary：$d_{\mathrm{TV}}(p,q)$ 与 $1-p(\hat{y})$。
• SGLang/vLLM RS implementation 的额外显存、kernel latency 和 residual sampling overhead。
• 不同 temperature、generation position、tool-turn phase 下的 acceptance 曲线。
• TV loss pre-adaptation 数据覆盖的 entropy range 与 RL 阶段实际 entropy range。

主要启发 #

• RL rollout 加速不能只看 draft model 质量；acceptance method 和目标分布 entropy 同样决定 speculative decoding 的有效性。
• 训练目标应该匹配推理时 verification rule。若使用 rejection sampling，优化 TV overlap 比优化 CE/KL 更直接。
• MTP 在 agentic RL 中潜力很大，因为长轨迹、格式化工具调用和低 concurrency tail stage 都放大 MTP 的收益。
• “在线更新 draft heads” 需要先判断 degradation 来自 entropy 还是 mismatch，再决定是否承担 online update 成本。
• 后续 RL 系统应把 entropy、acceptance、draft-target TV distance、generation position 作为 rollout observability 的一等指标。

局限 #

1. 理论分析依赖 uniform mismatch 与 probability-proportional mismatch 等启发式假设，形式化强度仍有限。
2. TV training 的 entropy invariance 只在训练数据覆盖的 entropy range 内成立；RL 探索进入分布外高 entropy 区域时，acceptance 仍可能下降。
3. 实验主要来自 Qwen/Alibaba 内部模型和系统，外部复现需要 Qwen3.5/3.6/3.7 级 MTP heads、SGLang/vLLM MTP implementation 和 async RL pipeline。
4. 论文主要报告 throughput/latency/acceptance，不把最终 RL 任务质量提升作为核心证据。
5. Full-vocabulary TV loss 有内存压力；作者采用 fused kernel，并报告 top-$K$ approximation 会导致收敛变慢或不稳定。
6. RS verification 需要额外缓存 draft probabilities/logits，并计算 residual distribution；小模型、低 acceptance 或高并发 compute-bound 阶段的收益需要单独测量。

跨论文关系 #

• 与 2211.17192 Fast Inference from Transformers via Speculative Decoding：Bebop 的 rejection sampling acceptance 与 TV overlap 直接继承该论文的 speculative sampling 推导。区别在于，2211.17192 主要证明推理时 draft-target rejection sampling 可保持目标模型分布，并给出 $1-d_{\mathrm{TV}}(p,q)$ 的接受率语言；Bebop 把这个语言转成 MTP head 的 TV / e2e TV training objective 和 RL rollout recipe。
• 与 VERL：本论文补充了 verl 当前文档中 MTP 的核心机理。verl 文档提醒 H20 等硬件上 MTP 未必总能提升 throughput；Bebop 解释一个上游条件：acceptance method、TV loss 和 entropy coverage 会决定 MTP 是否能在 RL rollout 中稳定收益。
• 与 2511.14617：Seer 用 grouped CST 和 group context 做 draft source；Bebop 用 MTP heads + rejection sampling + TV loss 做 draft source。两者都加速 RL rollout，Seer 更偏 synchronous scheduling / group pattern，Bebop 更偏 MTP training objective / verification rule。
• 与 2602.15763：GLM-5 报告 parameter-sharing MTP、slime async RL、TITO 和 direct double-sided IS；Bebop 提供 MTP 在 async RL 中保持 acceptance 的 Qwen recipe，二者共同说明 agentic RL 系统需要同时处理 rollout acceleration、off-policy correction 和 serving engine。
• 与 2506.13585：MiniMax-M1 关注 long-output RL 的 Lightning Attention 与 CISPO，并讨论 MTP/长输出加速背景；Bebop 将 MTP 加速问题具体落到 acceptance entropy bound、RS 和 TV loss。
• 与 2026-04-24：DeepSeek-V4 报告 MTP、deterministic kernels 和 post-training infrastructure；Bebop 从 Qwen 侧给出 MTP heads 在 RL rollout 中如何训练与验证的可操作 recipe。
• 与 2605.14220：TIM/VeXact 关注 rollout engine 与 trainer engine 的 logprob mismatch；Bebop 关注 target policy 与 MTP draft head 的 acceptance mismatch。两者都说明 post-training 效率优化要同时审计行为分布、数值实现和目标函数。
• 与 2510.01180：BroRL 增大 rollout width 来提高探索覆盖；Bebop 降低每条 rollout 的生成成本。若 large-$N$ rollout 与 MTP 结合，acceptance/entropy 监控会成为成本模型的一部分。

Reference Intake Brief #

Target #

• Intended target system: 新增论文笔记；更新 content/utility/papers-index.md。
• Existing related assets: 2511.14617、2602.15763、2506.13585、2026-04-24。
• Proposed form: 新建独立 Markdown 文档；更新当前收录，并在跨论文关系中补充 Qwen/Bebop/MTP 主题。

Reusable Elements #

1. Entropy-acceptance decomposition for diagnosing MTP degradation during RL.
2. Rejection sampling acceptance formula $\alpha^{\mathrm{RS}}=1-d_{\mathrm{TV}}(p,q)$.
3. End-to-end TV loss for multi-step MTP.
4. Practical recipe: pre-RL MTP adaptation + RS rollout + no default online MTP update.
5. SGLang / vLLM implementation notes for production RS verification.

Risks #

• Copyright/over-copying: 本笔记只保留必要公式和实验数字，未长段复制论文文本。
• Unsourced or unverifiable claims: Qwen3.5/3.6/3.7 细节和内部 async RL pipeline 依赖论文描述；外部复现需后续公开材料。
• Tone/brand mismatch: 以系统和方法分析为主，不做营销式表述。
• Safety/compliance issues: 无直接安全攻击流程；涉及 agentic RL 仅保留训练效率与系统指标。
• Overlap with existing assets: 与 Seer/GLM-5/MiniMax-M1 的 overlap 已通过跨论文关系区分。

Skipped #

Material	Reason
完整 appendix 推导逐式复现	公式密集且会使笔记过长；只保留 acceptance、TV loss、e2e TV 和 decision boundary
所有图像数值	源 PDF 图中部分数值需图像读取，当前只记录正文和表格明确给出的数字

Recommendation #

Decision: merge

Why: Bebop 补齐了当前档案中 RL rollout acceleration 的关键缺口。已有 Seer / verl / GLM-5 主要讨论 scheduling、async pipeline 和系统编排；Bebop 解释 MTP speculative decoding 在 RL 中何时有效、为什么会被 entropy 约束，以及如何用 rejection sampling 和 TV loss 获得稳定 speedup。