Yifei Li

Math Shepherd: Verify and Reinforce LLMs Step by step without Human Annotations

Math Shepherd 的核心价值在于把数学推理步骤的标注问题改写为“当前 step 之后还能否补全到正确答案”的 Monte Carlo potential estimation：对每个中间 step 采样多个 continuation，用最终答案正确性给 step 生成 hard / soft pseudo label，训练 PRM 做 verifier reranking，并进一步把 PRM reward 接入 step b...