A Survey of Reinforcement Learning for Large Language Models under Data Scarcity: Challenges and Solutions

Source #

• Workflow version: v2
• Material type: survey
• Canonical source: https://aclanthology.org/2026.acl-long.1045/
• Title: A Survey of Reinforcement Learning for Large Language Models under Data Scarcity: Challenges and Solutions
• Authors: Zhiyin Yu, Yuchen Mou, Juncheng Yan, Junyu Luo, Chunchun Chen, Xing Wei, Yunhui Liu, Hongru Sun, Yuxing Zhang, Jun Xu, Yatao Bian, Ming Zhang, Wei Ye, Tieke He, Jie Yang, Guanjie Zheng, Zhonghai Wu, Bo Zhang, Lei Bai, Xiao Luo
• Responsible organization: Peking University; Shanghai Artificial Intelligence Laboratory; National University of Singapore; Nankai University; Tongji University; Nanjing University; University of Wollongong; Shanghai Jiao Tong University; University of Wisconsin–Madison
• ACL Anthology: https://aclanthology.org/2026.acl-long.1045/
• DOI: https://doi.org/10.18653/v1/2026.acl-long.1045
• arXiv: https://arxiv.org/abs/2604.17312
• PDF: https://aclanthology.org/2026.acl-long.1045.pdf
• Code/Project: https://github.com/YuZhiyin/Data-Efficient-RL
• OpenReview / Review page: 未发现可可靠匹配本篇 ACL 2026 正式版本的公开 OpenReview / ARR reviewer comments 页面。
• Submitted: 2026-04-19（arXiv v1）
• Published / updated: ACL 2026 Long Papers，2026-07-02 至 2026-07-07，pp. 22823–22846
• Current version read: ACL 2026 proceedings version；内容与 arXiv v1 对应
• Version / revision read: ACL Anthology ID 2026.acl-long.1045；arXiv 2604.17312v1
• Accessed: 2026-07-16
• Subjects: Machine Learning (cs.LG); Computation and Language (cs.CL)

作者与关系 #

• Zhiyin Yu: Peking University / Shanghai Artificial Intelligence Laboratory.
• Yuchen Mou: National University of Singapore.
• Juncheng Yan: Nankai University.
• Junyu Luo: Peking University.
• Chunchun Chen: Tongji University.
• Xing Wei: Tongji University.
• Yunhui Liu: Nanjing University.
• Hongru Sun: University of Wollongong.
• Yuxing Zhang: Shanghai Jiao Tong University.
• Jun Xu: Nankai University.
• Yatao Bian: National University of Singapore.
• Ming Zhang: Peking University.
• Wei Ye: Tongji University.
• Tieke He: Nanjing University.
• Jie Yang: University of Wollongong.
• Guanjie Zheng: Shanghai Jiao Tong University.
• Zhonghai Wu: Peking University.
• Bo Zhang: Shanghai Artificial Intelligence Laboratory.
• Lei Bai: Shanghai Artificial Intelligence Laboratory.
• Xiao Luo: University of Wisconsin–Madison.

机构关系形成一条较清楚的协作链：Zhiyin Yu 是第一作者和项目仓库维护者，Zhonghai Wu 与 Bo Zhang 是通讯作者，Xiao Luo 是标题页列出的联系人之一。北大与上海 AI Lab 提供第一作者、两位通讯作者和项目维护关系；NUS、南开、同济、南大、卧龙岗与上交各由师生或同机构作者组参与；UW–Madison 的 Xiao Luo 连接 LLM post-training、图学习与生物信息学应用方向。Lei Bai 与已存档的 Entropy Mechanism 作者重叠。作者列表覆盖九个机构，论文正文未声明共同一作。

阅读目标与判断边界 #

本笔记关注：

1. “外部数据稀缺 / 内部数据稀缺”如何统一 RLHF、RLVR、rollout efficiency、self-reward 与 self-play。
2. 三层九类 taxonomy 的真实组织轴、类别重叠和方法选择价值。
3. 125 篇工作如何被收集和统计，以及这项覆盖证据能够支持多强的“systematic survey”主张。
4. 对代表方法做原始来源抽查，识别综述转述中的语义漂移。
5. 把本文与已存档的 reasoning RL、credit assignment、reward reliability 和 self-improving agents 论文连接起来。

判断边界：

• 本文是综述，没有提出新的 RL 算法，也没有统一复现实验。
• 论文附录和项目 README 给出 125 条文献记录；这些记录混合背景工作、既有综述和 taxonomy 方法，不能直接理解为 125 个互斥的新方法。
• 论文于 ACL 2026 正式发表，可确认 venue 身份；公开 reviewer comments、评分和 rebuttal 当前不可见。
• 本笔记把论文原文、原论文抽查结果和本地分析分开表达。涉及方法正确性的判断优先回到被引用论文的摘要、算法或项目说明。

论文脉络 #

1. 研究问题、背景和价值 #

LLM 强化学习面对两类数据约束。

• 外部数据稀缺：人类偏好、专家标注、细粒度反馈、过程标签和逐步推理轨迹的生产成本高，覆盖领域有限。
• 内部数据稀缺：模型自己生成的 rollout 数、轨迹长度、探索宽度和验证调用都受算力与延迟预算限制。

这一划分把几条常被分开讨论的研究线放到同一问题下。数据选择和合成提高外部监督的利用率；rollout pruning、process reward、replay 和 objective redesign 提高内部经验的利用率；self-evolution 与 multi-agent evolution 尝试让系统持续生成任务、反馈和课程。

这个视角的价值主要是设计导航。面对一个数据受限的 RL 项目，可以先定位瓶颈来自标注、rollout、验证还是更新，再选择干预位置。论文的贡献重点落在问题命名与方法地图，证据类型以文献归纳为主。

2. 已有解决方案与不足 #

论文把相邻综述分为四组：LLM / agentic RL、self-evolving agents、data-efficient post-training，以及更宽的 RLHF / reasoning model 综述。作者认为这些工作各自覆盖算法、agent、自进化或训练数据，缺少“数据稀缺”这一统一入口。

已有方法本身也较分散：

• 数据侧使用启发式过滤、难度估计、影响函数、动态采样、合成任务和 CoT 压缩。
• 训练侧使用搜索引导、选择性 rollout、内部奖励、过程奖励、replay 和高效目标。
• 框架侧使用单模型自训练、proposer-solver、generator-discriminator 和多角色协作。

这些方法对“样本效率”的定义差异很大。有的节省人工标签，有的节省 prompt 数，有的减少 rollout token，有的增加 verifier 调用以换取更干净的信号，还有的方法用更多 agent 交互换取自动课程。论文给出类别级优缺点，但没有把成本转换到共同预算空间。

3. 作者可能的思考路径 #

作者先从 RL post-training 的两类输入出发：外部提供的监督和 policy 自己产生的 experience。随后把干预点按离 policy update 的距离由近及远展开：

1. 先调整进入 RL 的数据及其表示。
2. 再调整 trajectory、reward 和 optimization 对经验的使用方式。
3. 最后改变生成任务和反馈的系统结构，让数据分布随能力共同演化。

这种路径容易形成从数据到训练再到框架的阅读顺序，也解释了作者使用 “bottom-up hierarchy” 的原因。三个 level 实际采用不同维度：Level 1 关注数据操作，Level 2 关注 RL loop 阶段，Level 3 关注生成反馈的系统拓扑。它们适合作为组合视图，严格树形分区的解释力较弱。

4. 核心假设或切入点 #

论文依赖四个核心判断：

1. 外部监督和内部经验都可视为稀缺资源。
2. 数据效率取决于信息密度与信号可靠性，单纯扩大样本数量会出现边际收益下降。
3. data、training、framework 三个 intervention level 能覆盖当前主要方法。
4. 自生成反馈与自进化框架可以降低对人类标注的依赖，但会引入噪声、奖励利用、偏差累积和安全风险。

其中第 1、2、4 项具有较强的跨论文一致性；第 3 项属于综述作者提出的组织选择，需要用检索覆盖率、分类一致性和多标注规则来支撑。

5. 方法 / 系统 / 理论框架 #

5.1 三层九类 taxonomy #

层级	类别	主要干预对象	论文给出的子类 / 代表方向
Data-centric	Data Pruning	进入 rollout 或 update 的样本	offline、online、fine-grained pruning
Data-centric	Data Synthesis	监督与任务分布	static、dynamic、hard-data synthesis
Data-centric	Data Compression	单位样本的 token / step / trajectory / dataset 成本	token、step、trajectory、dataset compression
Training-centric	Trajectory Generation	policy 产生经验的路径与数量	guided exploration、selective / adaptive rollout
Training-centric	Reward Engineering	稀疏或昂贵反馈的替代信号	process reward、intrinsic signal、consistency、heuristic / surrogate reward
Training-centric	Policy Optimization	每条经验产生的更新价值	experience replay、sample-efficient objective
Framework-centric	Self-Evolving	单模型闭环	self-training、adaptive learning
Framework-centric	Asymmetric Co-Evolution	两个角色的协作或对抗	proposer-solver、generator-discriminator
Framework-centric	Multi-Agent Evolution	多角色、多目标交互	competitive self-play、multi-role cooperation

证据定位：论文 §§2–5、Figures 1–5、Appendix A.4。

5.2 Data-centric：提高输入经验的信息密度 #

Data pruning 在有限 rollout budget 下选择更可能产生有效梯度的 prompt 或 trajectory。离线方法依据启发式规则、learnability、gradient alignment 或预测熵预先过滤；在线方法用 pass rate、reward variance、difficulty 或 hidden-state signal 动态分配训练预算；细粒度方法进一步在 trajectory 或 sample influence 层面筛选。

Data synthesis 扩充可训练分布。静态合成在训练前构造 preference、critique 或 verifiable tasks；动态合成把生成器或在线 annotator 放进训练环；hard-data synthesis 追踪失败样本和能力边界，持续生成针对当前弱点的任务。

Data compression 直接减少 token、reasoning step、trajectory 或 dataset 成本。高熵 token mask、冗余步骤裁剪、长度控制、dynamic sampling 和 compact dataset 都被纳入这一类。它与 pruning 的边界取决于删除发生在哪个粒度：删除整条样本通常归 pruning，保留样本并缩减内部表示通常归 compression。

5.3 Training-centric：提高 rollout、reward 和 update 的产出 #

Trajectory generation 通过树搜索、guided exploration、early stopping、difficulty-aware rollout allocation 和 selective sampling 降低无效轨迹比例。这里处理的是生成过程本身，和 data pruning 的在线选择高度相邻。

Reward engineering 在外部标签不足时构造更密集的过程信号或内部信号，包括 process reward、self-certainty、entropy、consistency、consensus、format、length 和多 agent 互评。论文准确指出了一个共同风险：验证成本降低后，信号噪声与 reward hacking 风险会上升。

Policy optimization 讨论 replay 和 sample-efficient objective。该小节只列 LoRR、DOTS、KTO、IGPO 四项，篇幅与证据密度明显低于 pruning 和 reward engineering；其中两项转述与原论文核心机制不符，详见“结果 3”。

5.4 Framework-centric：让任务与反馈随 policy 演化 #

Self-evolving framework 让单一模型同时承担生成与评价，通过 pseudo-label、self-verification、self-instruction 和 adaptive task generation 形成闭环。

Asymmetric co-evolution 把角色分开。协作型系统通常使用 proposer / solver，让任务难度追随 solver 能力；对抗型系统使用 generator / discriminator 或 bug injection / repair，以角色差异产生更密集的训练信号。

Multi-agent evolution 增加竞争博弈或 proposer / solver / verifier 等多角色结构。它能产生更丰富的信号，同时增加 rollout、协调、评审与环境成本。因此“减少外部标注”与“降低总成本”需要分别测量。

5.5 本地统一量：有效信息密度 #

为比较九类方法，可以把数据效率写成一个本地分析量：

$$\eta_{\text{eff}} = \frac{I_{\text{usable}}} {C_{\text{label}}+C_{\text{rollout}}+C_{\text{verify}}+C_{\text{update}}},$$

其中 $I_{\text{usable}}$ 由覆盖度、信号可靠性和与当前 policy update 的相关性共同决定。pruning 主要提高 update relevance，synthesis 提高 coverage，compression 降低 rollout / token cost，reward engineering 提高 feedback density，evolution framework 改变未来数据分布。这个量只用于统一比较思路，论文没有给出该公式或统一测量。

更完整的实验应同时报告预算向量：

$$B=(N_{\text{human}},N_{\text{prompt}},N_{\text{rollout-token}},N_{\text{verifier}},\text{GPU-hours},\text{wall-clock}).$$

只报告“使用多少百分比数据”会混淆标签节省、采样扩张和额外验证成本。

6. 结论链条 #

论文的结论链条可以压缩为：

1. LLM RL 的有效数据受外部监督和内部经验两类预算约束。
2. 现有工作分别在数据、训练过程和系统框架层面提高单位预算的训练价值。
3. 每层可继续拆成三个类别，共形成九类方法地图。
4. 当前趋势从静态人类数据逐步扩展到内部反馈、自生成任务和共同演化的课程。
5. 内部奖励可靠性、开放任务泛化和 self-play 安全成为下一阶段瓶颈。

前两步得到较多原论文支持；第三步是本文的 taxonomy 主张；第四步主要来自文献数量和方法演化的叙述性归纳；第五步是合理的研究议程，缺少统一 benchmark 的定量验证。

关键实验/定理 #

本文没有新模型实验或定理。以下“结果”记录综述覆盖证据、分类一致性与原始来源抽查。

结果 1：125 条公开文献记录与年份分布 #

• 设置：Appendix A.4 和项目 README 列出论文收录项；本地按 README 表格行复核。
• Baseline：无。
• 指标：条目数、分层数量、首次公开年份。
• 结果：共 125 条；Introduction 4 条、Prior Survey 5 条、Level 1 51 条、Level 2 35 条、Level 3 30 条。年份分布为 2018 年 1 条、2020 年 1 条、2021 年 2 条、2022 年 2 条、2023 年 2 条、2024 年 8 条、2025 年 109 条；2025 年占 87.2%。
• 证据定位：Appendix A.1、A.4；项目 README，核验 commit c74fb7973a3e01f14562fd7ec02ddc96217336bf（commit date 2026-04-08）。
• 对照是否可比：这些数字描述 bibliography snapshot，没有和其他综述的检索覆盖做可比评估。
• 支持的最窄结论：作者整理了一份以 2025 年工作为主、覆盖三层 taxonomy 的公开阅读清单。
• 解读：它能支撑“覆盖面广、更新较新”的判断。检索来源、查询式、截止时间、纳入排除标准和去重流程均未披露，因此不能由条目数单独支撑系统综述的完整性或无偏性。

结果 2：taxonomy 具有导航价值，同时存在多标签与层级轴混合 #

• 设置：对照 Figure 2 taxonomy、§§3–5 文字和 Appendix A.4 单项归类。
• Baseline：无。
• 指标：类别可解释性、互斥性、同一方法的跨类出现情况。
• 结果：GRESO 同时出现在 data pruning、data compression 和 trajectory generation；PODS 出现在 data pruning 与 trajectory generation；high-entropy token masking 出现在 data compression 与 trajectory generation；PREPO 出现在 data pruning 与 reward engineering；DOTS 出现在 data pruning 与 policy optimization。
• 证据定位：Figure 2、§§3.1–4.3、Appendix A.4。
• 对照是否可比：Figure 2 允许同一方法跨类出现，Appendix A.4 的表格为每条记录选择单一 section；论文没有给出 multi-label annotation rule。
• 支持的最窄结论：九类能够描述常见干预点，但当前树形图不构成互斥 partition。
• 解读：重复归类本身符合方法跨层组合的现实。更稳的表示方式是二维或多标签矩阵，至少分开 intervention site、signal provenance、granularity 与 system topology。

结果 3：Policy Optimization 小节存在两处可核验的机制错配 #

• 设置：将 §4.3 对 KTO 和 LoRR 的描述与各自原论文摘要、方法概述对照。
• Baseline：被引用论文的作者原始表述。
• 指标：综述描述能否覆盖原论文的核心机制。
• 结果：本文称 KTO 使用“self-generated intermediate reasoning steps”的 distillation mechanism；KTO 原论文以 Kahneman–Tversky prospect theory 为基础，从 desirable / undesirable 的二元反馈构造 human-aware loss。本文称 LoRR 设计“multi-view self-rewarding mechanism”；LoRR 原论文的核心是高 replay ratio、周期性 reset 到初始数据与 policy，以及 hybrid objective。
• 证据定位：本文 §4.3；KTO arXiv 2402.01306；LoRR arXiv 2508.06412。
• 对照是否可比：两项都与本文明确引用的原论文同名同作者，匹配置信度高。
• 支持的最窄结论：§4.3 中至少两项代表工作的核心机制转述失真。
• 解读：Policy Optimization 只有四项代表工作，这两处错误会显著降低该小节的可靠性，也提示其余类别需要抽样回源检查。它不推翻双重稀缺与三层视图的整体价值。

实验设置与 baseline 审计 #

维度	记录
评测协议	文献归纳、年份统计、标题词频；没有统一复现或专家标注一致性评测。
统计报告	给出年度计数和 word cloud；没有置信区间、覆盖率、重复率或编码一致性。
检索数据库与查询式	未披露。
检索截止时间	正文称统计至 2025 年 12 月；项目 commit 早于 arXiv 提交，仓库当前只含 README 清单。
纳入 / 排除标准	未披露。
去重与版本处理	未披露。
分类标注流程	未披露 annotator 数、冲突解决或 inter-rater agreement。
Baseline 是否覆盖既有综述	引言列出相邻 survey，并做主题级差异说明；没有覆盖集合或方法分类的定量对照。
框架版本与证据来源	GitHub 项目 commit c74fb7973a3e01f14562fd7ec02ddc96217336bf；README 与 Appendix A.4 提供清单。
可复现资产	公开 bibliography；没有 scripted search、machine-readable inclusion schema 或分类代码。
结论边界	可用作阅读地图与设计 checklist；无法据此估计全领域覆盖率、方法优劣或因果效果。

证据链强度评估 #

强证据 #

• 外部监督与内部经验的双重稀缺定义清楚，能够覆盖人工偏好、过程标签、prompt、rollout、trajectory length 和 exploration budget。
• 三层九类地图可直接服务研究定位：数据进入前、训练循环内、反馈生成框架三个位置都有明确的干预对象。
• 论文公开了 125 条文献记录，附录与 README 可相互核验；年份计数和分层条目数可复算。
• 论文对内部 reward 的噪声、reward hacking、open-ended task 泛化和 self-play 安全风险给出了明确提示。

中等强度证据 #

• 从静态数据处理走向自生成经验和 evolving framework 的趋势与收录工作一致，但 87.2% 条目来自 2025 年，长期趋势仍会快速变化。
• “数据效率与噪声权衡”在 reward engineering、self-reward 和 multi-agent feedback 中反复出现，缺少统一成本与质量指标。
• data-centric、training-centric、framework-centric 能覆盖大量方法；分类重叠说明它更适合作为 multi-view map。

需要谨慎的推论 #

• “first systematic survey” 的方法学证据不足。论文没有报告搜索式、数据库、筛选流程、质量评估和编码一致性。
• “self-generated signal 减少数据依赖”需要同时计算 verifier、rollout、agent coordination 与 update 成本。外部标签减少并不自动降低总预算。
• 内部 reward 的来源边界会模糊。一个 model judge 可能经过外部人类偏好训练，tool verifier 也可能依赖人工设计规则；只按训练时是否调用人工标注划分会遗漏 provenance。
• taxonomy 中的代表方法描述需要回源核验，KTO 与 LoRR 已显示明确语义错配。

OpenReview / 审稿意见吸收 #

• Page type: proceedings
• Match confidence: high
• Observed at: 2026-07-16
• Venue status: ACL 2026 Main Conference, Long Papers；ACL Anthology 已发布正式 proceedings 记录。
• Public reviews: 未发现可可靠匹配当前论文的公开 OpenReview / ARR reviewer comments。
• Ratings / confidence: 无公开评分可记录。
• Reviewer consensus: 公开不可见。
• Main criticisms: 公开不可见；本文的可信度审计依据正文、附录、项目清单及被引用论文原始来源。
• Author response: 未发现公开 rebuttal。
• 对可信度的影响: 正式发表身份提高了来源稳定性，无法替代对检索协议、分类一致性和代表方法转述的独立核验。

本地讨论补充 #

1. 讨论收敛点 #

• 本文最有用的产物是“双重稀缺 + 三层干预点”地图。它把数据筛选、rollout、reward、objective 和 self-play 放入同一资源约束问题。
• 三层结构体现从局部数据操作到完整学习系统的抽象升级；各层使用的分类轴不同，组合式阅读比严格层级解释更稳。
• 125 条文献清单提供了高效入口，统计集中于 2025 年，适合表示一个快速变化的 snapshot。
• “系统综述”主张需要降级理解。当前文稿更接近范围广的 narrative survey 和 taxonomy paper。

2. 修正后的理解 #

2.1 外部 / 内部二分需要增加 provenance #

反馈来源至少可以再分为 human、environment、tool / rule verifier、frozen model judge、current policy self-signal 和 peer-agent signal。它们在独立性、成本、被 policy 操纵的难度和误差相关性上差异很大。将 provenance 与 external / internal 一起记录，能更准确评估 reward reliability。

2.2 taxonomy 适合改成四轴矩阵 #

建议为每个方法记录：

1. intervention site: data / rollout / reward / update / framework。
2. granularity: token / step / trajectory / prompt / dataset / agent。
3. signal provenance: human / environment / verifier / self / peer。
4. budget effect: label、rollout token、verifier call、GPU-hours、wall-clock 分别增加或减少。

这样能自然容纳 GRESO、PODS、DOTS 等跨类方法，也便于比较两项名称相似但成本转移不同的工作。

2.3 可靠内部奖励是全图的控制变量 #

data synthesis、reward engineering、self-evolution 和 multi-agent evolution 最终都依赖某种 selector 或 evaluator。评价器误差与 policy 行为相关时，更多自生成数据会放大已有偏差。本文把 reward reliability 放在 future direction；从机制上看，它已经贯穿九类中的多数分支，应当作为主 taxonomy 的横向轴。

2.4 总成本与有效覆盖需要同时报告 #

一个方法可以用 10% prompts 达到 full-data accuracy，同时使用更宽 rollout 或更多 judge calls。此时 prompt efficiency 改善，compute efficiency 可能下降。未来综述表格应同时收录 success coverage、signal accuracy、rollout tokens、verification cost 和 end-to-end wall-clock。

3. 后续复验指标 #

• human labels / preference pairs / process labels：外部监督量。
• unique prompts / rollout count / rollout tokens / trajectory length：内部经验量。
• verifier calls / judge tokens / tool executions：信号生产成本。
• gradient-effective sample ratio / zero-variance group ratio：进入有效更新的经验比例。
• pass@k / semantic path coverage / OOD success：能力覆盖，避免只看 pass@1。
• reward precision / calibration / exploit rate / false-positive rate：内部 reward 可靠性。
• GPU-hours / wall-clock / peak memory / communication：训练与框架总成本。
• seed variance / error bars / budget-matched baseline：结果稳定性和可比性。

主要启发 #

• 设计 data-efficient RL 时，先写清稀缺预算：人工标签、prompt、rollout token、verifier 调用还是 wall-clock。
• data pruning、trajectory generation 和 policy optimization 需要联合看待；它们共同决定哪些经验产生多少有效梯度。
• 内部 reward 需要记录来源、独立性、校准和可被 policy 利用的路径。
• self-evolution 与 multi-agent evolution 会把静态 dataset 转成动态 curriculum，同时引入反馈相关性、协调成本和长期漂移。
• 综述中的方法一句话摘要适合导航，算法决策和复现仍应回到原论文。

局限 #

1. 论文没有披露检索数据库、query、检索日期、筛选图、纳入排除条件、去重与质量评估，系统性和覆盖率无法复查。
2. data operation、RL loop stage 和 agent topology 被放入同一层级，类别之间缺少一致的划分维度。
3. 多项方法跨类出现，正文和 Figure 2 没有说明 multi-label 标注规则；Appendix A.4 又为条目选择单一 section。
4. 样本效率缺少共同预算向量，prompt、token、rollout、judge、GPU 与 wall-clock 的成本转移没有量化。
5. 代表方法的语义抽查发现 KTO 与 LoRR 两处明显错配，Policy Optimization 小节尤其需要修订。
6. 125 条记录中 109 条来自 2025 年，结论对最新工作和版本变化高度敏感；仓库没有自动更新与版本化检索流水线。
7. 论文自己的 Limitations 只提到领域变化快和框架需要更新，尚未覆盖选择偏差、taxonomy 主观性、转述准确性和缺少统一复现。
8. safety 部分提出 self-play 偏差放大与过滤方向，缺少可验证的长期安全指标、独立审计和 rollback protocol。

跨论文关系 #

• 与已有论文的作者或机构关系：Lei Bai 同时参与 2505.22617 Entropy Mechanism；上海 AI Lab 因而连接 token-level entropy control、内部 reward 与 data-efficient / self-evolving RL。第一作者 Zhiyin Yu、通讯作者 Bo Zhang / Zhonghai Wu、Lei Bai 和 Xiao Luo 还共同完成 EasyRL，构成本文 framework-centric 路线的直接作者背景。
• 与已有论文的主题关系：2604.09459 Credit Assignment Survey 按 token / segment / turn / agent 分配 reward，本篇按 data / training / framework 组织稀缺经验；前者细化 reward 到 update 的路径，后者覆盖经验生产与系统结构。Self-Improving Agents 将经验沉淀为 skill、memory、environment 和 parameter，本篇的 framework-centric 层解释训练阶段如何自动生成课程与反馈。
• 与已有论文的方法或系统关系：DAPO 的 dynamic sampling 在本文被视为 trajectory / dataset compression；BroRL 直接扩展内部 rollout width；Entropy Mechanism 提供 entropy dynamics 与局部控制证据；Spurious Rewards 说明 surrogate reward 的增益可能来自 prior reweighting，并为“内部 reward 可靠性”加入更强边界；SRPO 和 VIMPO 分别对应选择性重采样与 sample-efficient objective。

Reference Intake Brief #

Target #

• Intended target system: 新增 ACL 2026 论文笔记、对应索引行、标签与作者档案；跨论文关系在对应论文的关系章节维护。
• Existing related assets: content/utility/papers-index.md；Credit Assignment Survey；Self-Improving Agents；Entropy Mechanism；Spurious Rewards。
• Proposed form: 新建独立 survey 笔记，并把它作为 data-efficient RL 的地图节点回写到直接相关论文。

Reusable Elements #

1. 外部监督稀缺 / 内部经验稀缺的双重预算定义。
2. data / training / framework 三层九类 intervention map。
3. B=(human labels, prompts, rollout tokens, verifier calls, GPU-hours, wall-clock) 的本地预算审计向量。
4. intervention site、granularity、signal provenance、budget effect 四轴方法记录法。
5. 内部 reward reliability、open-ended generalization、self-play safety 三组未来问题。

Risks #

• Copyright/over-copying: 笔记使用结构化转述、短方法名和本地分析，没有复制论文长段文字或图表。
• Unsourced or unverifiable claims: 125 条计数由附录与仓库复核；KTO / LoRR 批评回到原论文；推导出的预算向量明确标为本地分析。
• Tone/brand mismatch: 使用档案既有的证据分层、实验审计和跨论文关系语气。
• Safety/compliance issues: self-play 风险保留机制、评测和防御启发，不记录可直接滥用的策略细节。
• Overlap with existing assets: 与 credit assignment 和 self-improving agents 两篇 survey 分工明确，本篇负责 data scarcity 与 intervention map。

Skipped #

Material	Reason
公开 reviewer comments	未发现可可靠匹配 ACL 2026 正式版本的公开 OpenReview / ARR 评审页。
Figure 1–5 原图	taxonomy 可由九类表格完整表达；当前分析重点是分类边界和证据审计，无需复制多张版权图。
125 篇逐篇结论	会重复附录与项目 README；本笔记保留类别机制、统计与高价值抽查。
所有作者的完整社交账号	已完成基础身份核验；只为通讯作者、项目维护者、重复作者及末位作者沉淀稳定档案。

Recommendation #

Decision: merge

Why: 本文提供了当前档案缺少的 data-efficient RL 总览节点，能连接 pruning、rollout、reward、credit assignment 与 self-evolution。使用时应把它定位为导航地图，并保留检索方法、分类重叠、预算可比性和方法转述准确性的边界。