recurring author
Hao Peng
2 archived notes
Related Notes
按论文归档时间排序，展示该作者在本站已经出现的材料。
Jun 21, 2026
The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models
这篇论文把 reasoning LLM 的 RLVR 训练瓶颈重新表述为 policy entropy 的消耗过程：在没有 entropy / KL 干预时，reward 提升和 entropy 下降之间可以被经验式 $R= a\exp(\mathcal H)+b$ 拟合；进一步用 softmax policy 的 entropy dynamics 说明，高概率且高 advantage 的 token update 会持续降低 ent...
Mar 20, 2026
From $f(x)$ and $g(x)$ to $f(g(x))$: LLMs Learn New Skills in RL by Composing Old Ones
这篇论文给 RLVR 争论提供了一个可控的正向证据：当模型已经通过预训练或 SFT 掌握 atomic skills，且 RL 训练目标明确奖励组合这些 atomic skills 时，RL 可以训练模型形成可泛化的 compositional skill，把见过的浅层模式迁移到更深嵌套、未见函数组合和跨任务组合场景；同样 Level 2 数据上的 RFT 和只训练 atomic tasks 的 RL 都没有得到类似泛化。