recurring author

Hao Peng

2 archived notes

Related Notes

按论文归档时间排序,展示该作者在本站已经出现的材料。

Jun 21, 2026

The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models

这篇论文把 reasoning LLM 的 RLVR 训练瓶颈重新表述为 policy entropy 的消耗过程:在没有 entropy / KL 干预时,reward 提升和 entropy 下降之间可以被经验式 $R= a\exp(\mathcal H)+b$ 拟合;进一步用 softmax policy 的 entropy dynamics 说明,高概率且高 advantage 的 token update 会持续降低 ent...

2505.22617-entropy-mechanism-rl-reasoning-language-models Training StabilityReasoning RLRL Theory
Mar 20, 2026

From $f(x)$ and $g(x)$ to $f(g(x))$: LLMs Learn New Skills in RL by Composing Old Ones

这篇论文给 RLVR 争论提供了一个可控的正向证据:当模型已经通过预训练或 SFT 掌握 atomic skills,且 RL 训练目标明确奖励组合这些 atomic skills 时,RL 可以训练模型形成可泛化的 compositional skill,把见过的浅层模式迁移到更深嵌套、未见函数组合和跨任务组合场景;同样 Level 2 数据上的 RFT 和只训练 atomic tasks 的 RL 都没有得到类似泛化。

2509.25123-rl-compositional-skill-acquisition Reasoning AnalysisReasoning RLBenchmark