Math Shepherd: Verify and Reinforce LLMs Step by step without Human Annotations

Source

Title: Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations
arXiv: 2312.08935
PDF: arXiv PDF, ACL Anthology PDF
ACL Anthology: 2024.acl-long.510, ACL 2024 main conference long paper, DOI 10.18653/v1/2024.acl-long.510
Code/Project: Project page, Math-Shepherd dataset, Mistral-7B SFT, Mistral-7B PRM, Mistral-7B RL
OpenReview / Review page: OpenReview revisions metadata。未发现可可靠匹配的公开 reviewer comments、rating 或 author rebuttal。
Authors: Peiyi Wang, Lei Li, Zhihong Shao, Runxin Xu, Damai Dai, Yifei Li, Deli Chen, Yu Wu, Zhifang Sui
Submitted: 2023-12-14
Current version read: arXiv v3, revised 2024-02-19；ACL 2024 final PDF
Subjects: Computation and Language

作者与关系

Peiyi Wang: Peking University.
Lei Li: The University of Hong Kong.
Zhihong Shao: Tsinghua University / DeepSeek AI.
Runxin Xu: DeepSeek-AI; 为 R.X. Xu.
Damai Dai: Peking University / DeepSeek-AI；与 DeepSeekMoE、DeepSeek-V3 等 MoE / LLM 工作关系强。
Yifei Li: The Ohio State University.
Deli Chen: DeepSeek-AI.
Yu Wu: DeepSeek-AI.
Zhifang Sui: Peking University.

阅读目标与判断边界

本笔记关注：

Math-Shepherd 如何在没有人工 step labels 的条件下构造 process supervision。
PRM 在 verification / Best-of-N reranking 中相对 ORM、self-consistency 和 human PRM800K 的证据强度。
Step-by-step PPO 的 reward 设计、baseline 设置和复现边界。

判断边界：

只把论文公开 PDF、ACL Anthology、Hugging Face 数据 / 模型卡和 OpenReview metadata 作为可靠来源。
对 step-by-step PPO 的实现细节保留边界判断，因为模型卡说明内部代码无法开源。
对 PRM800K 的比较重点看实验设置和候选分布，避免把单一曲线直接解释成自动标注全面超过人工标注。

论文脉络

1. 研究问题、背景和价值

数学 reasoning verifier 有两类常见信号：

Outcome reward model: 判断整条 solution 的 final answer 是否正确。
Process reward model: 对中间 step 给 reward，判断推理过程是否仍有通向正确答案的潜力。

ORM 容易训练，因为最终答案可以自动检查；PRM 的信息密度更高，因为它能指出错误更早发生的位置，也能在 Best-of-N reranking 中避免只看最终答案格式。然而 PRM800K 一类人工 step labels 成本高，且标注协议、候选分布和模型分布绑定很强。Math-Shepherd 试图用自动 completion 把“过程标注”从人工判断转成可扩展采样估计。

2. 已有解决方案与不足

Self-consistency / majority voting：只利用多个候选答案的一致性，成本低，但无法细粒度识别 reasoning step 的质量。
ORM：用最终答案 correctness 训练 reward model，适合自动标注；对中间错误定位能力弱，在长推理链里 credit assignment 粗。
Human PRM：PRM800K 证明 step-level verifier 很强，但需要人工标注 first-error / step correctness，扩展成本高，且数据分布可能和 open-source generator 的 candidate distribution 不匹配。
NLI / rule-based automatic process label：可以判断步骤与前后文一致性，但对数学推理的潜在可补全性建模不足，容易被表面 entailment 或规则覆盖率限制。

3. 作者可能的思考路径

作者抓住一个可自动验证的中间变量：如果某个 step 之后仍能以较高概率补全到正确答案，这个 step 对 final correctness 有正向潜力；如果无论如何补全都很难得到正确答案，这个 step 很可能已经偏离正确轨迹。于是可以在每个 prefix 上启动 completer，采样多个 continuation，并用最终答案 checker 把终局 correctness 回传给当前 step。

这一路径把 step label 从“人类判断当前推理是否正确”转成“从当前 prefix 继续采样时成功概率有多大”。它更接近 value estimate 或 reachability estimate，严格 step correctness 只是一种近似解释。

4. 核心假设或切入点

给定问题 $q$ 、已有 reasoning prefix $(s_1,\ldots,s_i)$ 和 gold answer $a^*$ ，用 completer 从当前 step $s_i$ 之后采样 $N$ 个 continuation：

\{(s_{i+1,j},\ldots,s_{K_j,j}, a_j)\}_{j=1}^{N}.

当前 step 的 potential 可以由这些 continuation 的最终答案正确率估计：

y_{s_i}^{\mathrm{SE}}=\frac{1}{N}\sum_{j=1}^{N}\mathbf{1}[a_j=a^*].

论文主线还使用 hard estimation：

y_{s_i}^{\mathrm{HE}}=\mathbf{1}[\exists j,\ a_j=a^*].

HE 更像“存在一条可补全正确路径”的 reachability label；SE 更像“在当前 completer 和采样温度下的成功概率”。两者都依赖 completer 覆盖率、采样数 $N$ 、answer checker 准确性和当前 prefix 分布。

5. 方法 / 系统 / 理论框架

自动过程标注

先用 generator 生成完整 solution，并拆成多个 reasoning steps。
对每个中间 step 作为 prefix，用 completer 生成 $N$ 条后续 reasoning process。
用 gold answer 检查 continuation 的 final answer。
用 HE 或 SE 给当前 step 生成 pseudo-label。
用这些 pseudo-label 训练 PRM。

Hugging Face 数据集把每个 step 后插入特殊 token ки，只在这些位置计算 loss。标签中 + 表示 good step potential，- 表示 bad step potential。模型卡说明 PRM 推理时取 + 和 - 两个候选 token 的 logits 做 softmax，得到 step score。

Verification / reranking

测试时每个问题采样多条 candidate solutions。对一条 solution，PRM 给每个 step 打分，整条 solution 的分数按 Lightman et al. 的做法取 step scores 的最小值：

\mathrm{score}(s_{1:K})=\min_i r(s_i).

这个 min 聚合把整条 solution 的可信度绑定到最弱 step，适合“任何关键错误都会破坏最终答案”的数学推理场景。论文还评估了 self-consistency + reward model：按 final answer 分组，对同一答案组内的 reward model scores 聚合后再选择最终答案。

Step-by-step PPO

作者把 PRM reward 接入 PPO，在每个 reasoning step 结束时给 reward，训练 generator。Hugging Face RL model card 说明 released checkpoint 是 Mistral-7B-MetaMATH 在 Math-Shepherd 框架下用 step-by-step PPO 训练得到，PRM 使用 math-shepherd-mistral-7b-prm，PPO training set 使用 MetaMATH 中的问题。

公开材料没有给出完整 PPO 代码；论文给出 reward model、learning rate、KL coefficient、scheduler、max sequence length 等关键超参。复现时需要把 step boundary、reward insertion、KL penalty、loss mask 和 rollout sampling 细节补齐。

6. 结论链条

自动 completion-based potential label 在小规模人工 step 集上比 DIVERSE-NLI / rule-based labeling 更接近人工判断。
用这些标签训练的 PRM 在 GSM8K / MATH verification 上稳定超过 self-consistency、ORM 和 SC+ORM。
在 open-source generator 的 candidate distribution 下，自动标注 PRM 的 MATH reranking 曲线优于 PRM800K，作者将原因归于数据量和分布匹配。
把 PRM reward 放到 reasoning step 级别后，step-by-step PPO 在 GSM8K / MATH 上优于 RFT 和 ORM-PPO。
因此，Math-Shepherd 证明了 automatic process supervision 是一种可扩展的 PRM 训练路线，并为 DeepSeek 后续 reasoning RL / verifier work 提供早期技术节点。

关键实验/定理

结果 1：自动过程标注质量

设置：在 160 个 manually annotated GSM8K steps 上评估不同 process label 方法；Math-Shepherd 使用 completer 从当前 step 后采样 continuation，并用 final answer correctness 回传 step label。
Baseline：DIVERSE-NLI DeBERTa、DIVERSE-NLI LLaMA2-13B、DIVERSE-Rule。
指标：label accuracy 和 loss；另外比较 HE / SE 随 completion 数 $N$ 的变化。
结果：DIVERSE-NLI DeBERTa 为 61.3% accuracy / 5.43 loss；DIVERSE-NLI LLaMA2-13B 为 75.6 / 3.27；DIVERSE-Rule 为 75.0 / 3.43；Math-Shepherd LLaMA2-13B with $N=4$ 达到 85.0 / 2.05。使用 LLaMA2-70B completer 时，HE 在 $N=4$ 达到约 86% accuracy；更大 $N$ 可能提高 false positives。
解读：completion-based label 直接利用“能否从当前 prefix 走到正确答案”，比 entailment / rule consistency 更贴近 step potential。 $N$ 增大带来覆盖率提升，也会把一些错误但可被后续偶然修复的 step 标成 positive。

结果 2：Verification / Best-of-N reranking

设置：GSM8K whole test set 和 MATH500 subset；每个测试问题生成 256 个 candidate solutions；报告 3 个 sampling groups 的 mean accuracy。所有 base models 先用 MetaMATH finetune。
Baseline：self-consistency / majority voting、ORM、SC+ORM、Math-Shepherd PRM、SC+Math-Shepherd PRM。
指标：final answer accuracy。
结果：

Generator	Method	GSM8K	MATH500
LLaMA2-70B:MetaMATH	Self-Consistency	88.0	39.4
LLaMA2-70B:MetaMATH	ORM	91.8	40.4
LLaMA2-70B:MetaMATH	SC+ORM	92.0	42.0
LLaMA2-70B:MetaMATH	Math-Shepherd	93.2	44.5
LLaMA2-70B:MetaMATH	SC+Math-Shepherd	92.4	45.2
LLemma-34B:MetaMATH	Self-Consistency	82.6	44.2
LLemma-34B:MetaMATH	ORM	90.0	43.7
LLemma-34B:MetaMATH	SC+ORM	89.6	45.4
LLemma-34B:MetaMATH	Math-Shepherd	90.9	46.0
LLemma-34B:MetaMATH	SC+Math-Shepherd	89.7	47.3
DeepSeek-67B:MetaMATH	Self-Consistency	88.2	45.4
DeepSeek-67B:MetaMATH	ORM	92.6	45.3
DeepSeek-67B:MetaMATH	SC+ORM	92.4	47.0
DeepSeek-67B:MetaMATH	Math-Shepherd	93.3	47.0
DeepSeek-67B:MetaMATH	SC+Math-Shepherd	92.5	48.1

解读：PRM 在三个 strong generators 上大多超过 ORM 和 self-consistency，MATH500 的收益更稳定。SC+PRM 在 MATH 上最好，说明 final-answer agreement 和 step verifier 提供互补信号。

结果 3：Step-by-step PPO

设置：用 Mistral-7B reward model 监督 LLaMA2-7B 和 Mistral-7B generators；任务为 GSM8K / MATH；评估 greedy decoding。PPO training set 使用 MetaMATH questions。
Baseline：MetaMATH SFT、RFT、ORM-PPO。
指标：final answer accuracy。
结果：

Base	Method	GSM8K	MATH
LLaMA2-7B	MetaMATH	66.6	19.2
LLaMA2-7B	+RFT	68.5	19.9
LLaMA2-7B	+ORM-PPO	70.8	20.8
LLaMA2-7B	+Math-Shepherd step-by-step PPO	73.2	21.6
Mistral-7B	MetaMATH	77.9	28.6
Mistral-7B	+RFT	79.0	29.9
Mistral-7B	+ORM-PPO	81.8	31.3
Mistral-7B	+Math-Shepherd step-by-step PPO	84.1	33.0

解读：step-level reward 相对 trajectory-level ORM reward 提供更细的 credit signal。Mistral-7B 的 absolute gain 更大，也可能受 base model、MetaMATH 初始化和 PRM-generator 分布匹配影响。

结果 4：RL 后模型再配合 verifier

设置：比较 Mistral-7B MetaMATH 与 Mistral-7B MetaMATH + step-by-step PPO，在 verification 阶段继续使用 SC / ORM / PRM reranking。
Baseline：同一 generator 的 SC、ORM、SC+ORM、PRM、SC+PRM。
指标：GSM8K / MATH accuracy。
结果：Mistral-7B MetaMATH + step-by-step PPO 在 SC 下达到 87.4 / 42.3；SC+Math-Shepherd 达到 89.1 / 43.5。对应的未 RL Mistral-7B MetaMATH 在 SC 下为 83.9 / 35.1；SC+Math-Shepherd 为 86.3 / 38.3。
解读：PRM reward 训练 generator 和 PRM reranking 可以叠加，但 verification PRM 与训练 PRM 存在同源 reward 关系，后续需要额外看 oracle pass@k、diversity、format reward 和 verifier overfitting。

结果 5：PRM800K 对比与 data efficiency

设置：在 MATH candidate reranking 曲线中比较 Math-Shepherd 自动过程数据训练的 PRM 与 PRM800K 人工过程数据训练的 PRM；另外比较不同训练数据量下 ORM 与 PRM。
Baseline：human PRM800K PRM、ORM。
指标：accuracy 随 candidate 数或 training instances 变化。
结果：论文报告 Math-Shepherd 在 open-source generator 的 candidate distribution 下优于 PRM800K；PRM 在约 10k training instances 时相对 ORM 有约 4% accuracy gain，随着数据增大保持更高上限。
解读：这组实验支持“分布匹配 + 自动数据量”可以抵消人工 label 优势。该结论依赖候选分布和训练细节；PRM800K 的原始强项是在 OpenAI generator / MATH setting 下的人工 first-error 标签。

结果 6：OOD Hungarian national final exam

设置：33 道 Hungarian national final exam 数学题，总分 100；LLemma-34B generator，每题采样 256 candidates。
Baseline：ORM reranking。
指标：exam score。
结果：LLemma-34B-PRM 比 ORM 高 9 分。
解读：PRM 对出分布数学题有一定泛化信号，但样本量小，结论更适合作为补充现象。

实验设置与 baseline 审计

模型与初始化：generator 和 completer 先在 MetaMATH 上训练 3 epochs。Mistral-7B SFT learning rate 为 $5e^{-6}$ ；其他模型 learning rate 为 7B/13B $2e^{-5}$ 、34B $1e^{-5}$ 、67B/70B $6e^{-6}$ 。
数据与任务：GSM8K 用 whole test set；MATH verification 使用 MATH500 subset，RL 使用 MATH whole test set。构造 ORM/PRM 数据时，在 GSM8K 和 MATH training sets 上各训练 7B / 13B 模型 1 epoch，每个问题从每个模型采样 15 条 solution，去重后标注每个 step；最终约 170k GSM8K solutions 和 270k MATH solutions。
Completer 设置：LLemma-7B，decoded number $N=8$ 。标注质量分析中还比较 LLaMA2-13B / 70B completer 和不同 $N$ 。
Reward model：verification 使用 LLaMA2-70B reward model for GSM8K、LLemma-34B reward model for MATH；RL 使用 Mistral-7B reward model。Reward model 训练 1 epoch，learning rate $1e^{-6}$ 。标准 LM pipeline 中采用 HE 和两个特殊 label tokens。
RL / 训练配置：step-by-step PPO；LLaMA2-7B PPO learning rate $4e^{-7}$ ，Mistral-7B PPO learning rate $1e^{-7}$ ；KL coefficient 0.04；cosine scheduler，minimum LR $1e^{-8}$ 。
系统配置：论文提到使用 hfai 3D parallelism，max sequence length 512。完整 step-wise PPO 代码未公开。
评测协议：verification 每题 256 candidates，报告 3 个 sampling groups 的 mean accuracy；RL 表使用 greedy decoding；部分曲线报告随 candidate 数变化。
统计报告：主表给 mean accuracy，未见 confidence interval / standard deviation；OOD exam 样本量仅 33。
Baseline 强度：
- 是否 tuned：ORM、PRM、generator 均基于 MetaMATH finetune，属于较强 open-source setting；RFT、ORM-PPO 和 step-by-step PPO 的 compute matching 细节有限。
- 是否 compute-matched：verification 中每个问题候选数一致；训练阶段 PRM 自动标注需要额外 completer decode，compute 明显高于 ORM 标注。
- 是否 implementation-matched：ORM 和 PRM 在同一生成数据来源下训练，比较较公平；PRM800K 对比存在数据来源、generator 分布和 label protocol 差异。
- 是否覆盖强替代方案：覆盖 self-consistency、ORM、SC+ORM、PRM800K、RFT、ORM-PPO；未覆盖后续 STV、OmegaPRM、process advantage / progress reward 等更新方法。
- 是否存在弱化风险：RFT 采样 8 responses / question，可能无法代表更强 rejection sampling recipe；ORM-PPO 细节少，可能受 reward shaping 和 KL 设置影响；PRM 与训练 generator 分布匹配优势较强。
- 结论边界：可以较强支持自动过程标注 PRM 在当前 open-source math setting 下有效；难以单独证明 HE/SE label 是最优 process supervision 定义，也难以说明 step-by-step PPO 的收益完全来自 step reward granularity。

证据链强度评估

强证据

PRM reranking 在 LLaMA2-70B、LLemma-34B、DeepSeek-67B 三类 generator 上稳定超过 ORM / self-consistency，尤其在 MATH500 上收益清晰。
自动 completion-based label 在人工 step 子集上显著超过 DIVERSE-NLI / rule-based baselines，说明 step potential 估计捕捉到数学推理特有信号。
RL 表中 step-by-step PPO 同时优于 RFT 和 ORM-PPO，给 process reward 训练 generator 提供直接支持。

中等强度证据

Math-Shepherd 优于 PRM800K 的结论有意义，但受到候选分布、数据规模和模型体系影响。更稳妥的解释是自动标注在分布匹配和数据量上具备优势。
Hungarian exam OOD 结果支持泛化方向，但样本量较小，适合作为辅助证据。
PRM data efficiency 曲线说明 PRM 相对 ORM 有更高 sample efficiency，但需要确认不同模型规模、不同 generator 分布和不同 answer checker 下是否保持。

需要谨慎的推论

HE 把“存在一个正确 continuation”标成 positive，可能把部分已经出现错误但后续被模型偶然修复的 prefix 标为好 step。
SE 估计的是当前 completer / sampling policy 下的 success rate，换 completer、温度、采样数和 answer checker 后 label 会变。
Step-by-step PPO 代码未公开，公开 checkpoint 能证明训练结果存在，完整复现实验仍缺少实现层细节。
PRM reward 训练 generator 后再用同源 PRM reranking，可能放大 reward-model-specific preference，需要独立 verifier 或 oracle pass@k 检查。

OpenReview / 审稿意见吸收

Venue status: ACL 2024 main conference long paper，ACL Anthology ID 2024.acl-long.510。
Public reviews: 未找到公开 ACL reviewer comments。OpenReview revisions 页面只显示 DBLP / ACL metadata 类型记录，API 查询没有返回可读 review / rebuttal。
Ratings / confidence: 未公开。
Reviewer consensus: 未公开。
Main criticisms: 无可验证公开记录；只能从论文 limitations 和实验边界推断主要风险包括自动标注噪声、completion compute 成本、PRM800K 对比分布差异和 step-wise PPO 复现细节。
Author response: 未公开。
对可信度的影响：ACL main long paper 提供基本同行评审背书；缺少公开审稿内容使 reviewer 争议点无法进入本地分析。后续引用时应以论文实验和 released dataset / checkpoints 为证据主体。

本地讨论补充

1. 讨论收敛点

Math-Shepherd 的“step label”本质是从当前 prefix 出发的未来成功潜力，和人工 first-error label 有不同语义。
HE / SE 的差异对应 reachability 与 success probability；HE 偏乐观，SE 更接近 Monte Carlo value estimate。
PRM 的 min-step aggregation 适合数学解题，因为一个低可信关键 step 足以降低整条 solution 的可信度。

2. 修正后的理解

可以把 Math-Shepherd 看成自动化 PRM800K 的一条路线：用 completer + answer checker 替代人工 step annotator。
它与 SRPO / reset credit assignment 的共同点是都用共享 prefix 后的 suffix 行为来判断当前 step 的训练价值；差异在于 Math-Shepherd 训练外部 PRM，SRPO 直接把 reset suffix 组用于 policy gradient。
它和 DeepSeek-R1 的关系更像前史节点：Math-Shepherd 证明 DeepSeek / PKU 作者网络已经在 2023 年围绕数学 reasoning verifier 和 process reward 建立技术积累；DeepSeek-R1 后续更强调 outcome-based RL 和 GRPO 的 emergent reasoning。

3. 后续复验指标

对 HE / SE label 做 step-level calibration：按 predicted step score 分桶，看 continuation success rate 和人工 correctness 是否一致。
用不同 completer 和不同采样温度重标同一数据，测 label stability。
在 RL 中报告 pass@k、entropy、length、format error、KL、reward hacking case 和 independent verifier accuracy。
对 PRM800K 对比做 candidate distribution 控制：同一 generator、同一 candidate pool、同一 reward model backbone。

主要启发

自动 process supervision 的核心杠杆是把局部 reasoning step 转化为可采样的 future success estimate。
对 LLM RL 来说，reward granularity 和 reward correctness 同样重要；step-level reward 能缩短信号传播路径，但会引入 verifier bias。
PRM 的优势很依赖候选分布匹配。自动标注数据容易贴近当前 generator，人工数据的优势则在 label 语义更干净。
这篇和 PRM800K、STV、SRPO、OTB、VIMPO 共同组成一个 credit assignment 谱系：从人工 step labels、自动 step potential、verifier self-training，到 outcome-only token-level estimator。

局限

自动标注成本高。每个 step 都需要采样多个 continuation，长解题过程和大规模数据会产生大量 completer decode。
Label 语义有噪声。HE 受偶然正确 continuation 影响，SE 受 completer policy 影响，answer checker 也可能带来误判。
PRM800K 对比存在分布差异。自动数据可能更贴近 open-source generator，人工数据可能来自不同模型和标注协议。
Step-by-step PPO 细节不足。公开材料给出 checkpoint 和主要超参，完整训练代码和工程细节未释放。
主实验缺少置信区间和多 seed 统计。MATH / GSM8K 主表较强，OOD exam 样本量小。
Reward model 与 generator 的同源性可能带来 reward bias。后续需要 independent verifier 或 human audit 验证训练后的 reasoning quality。

跨论文关系

与 LLM-as-a-Verifier：Math-Shepherd 用 suffix sampling 与 answer checker 自动生成 step labels，再训练 PRM；LLM-as-a-Verifier 直接从冻结模型的 pairwise logit readout 估计 prefix progress。两者分别代表训练式 process supervision 与 inference-only process proxy。
与已有论文的作者关系：与 2501.12948 DeepSeek-R1 存在 Peiyi Wang、Runxin Xu、Zhihong Shao、Yu Wu 等作者网络重叠；与 DeepSeek-Math、DeepSeek-Prover、DeepSeek-V 系列有机构和研究线联系。
与已有论文的主题关系：直接接续 2305.20050 Let's Verify Step by Step 的 PRM / process supervision 目标；与 2605.30290 STV 共享 verifier self-improvement；与 2503.11926 CoT monitorability 共享 process signal 对 reasoning behavior 的安全边界问题。
与已有论文的方法或系统关系：与 2605.25507 SRPO、2602.07078 OTB 和 2606.20008 VIMPO 都在处理 long-horizon outcome reward 的 credit assignment，只是 Math-Shepherd 使用外部 PRM 和 automatic process labels。
跨论文关系定位：把 Process Supervision、PRM800K 与 Step-Level Verifier 扩展为 human PRM800K 到 automatic process supervision 的连续线；补充 Pure RL Reasoning Models 与 DeepSeek-R1 系谱中 reasoning verifier 的前史关系。

Reference Intake Brief

Target

Intended target system: 新增论文笔记；更新 content/utility/papers-index.md；更新 data/authors.json。
Existing related assets: 2305.20050 Let's Verify Step by Step, 2501.12948 DeepSeek-R1, 2605.30290 STV, 2605.25507 SRPO, 2602.07078 OTB, 2606.20008 VIMPO。
Proposed form: 新建独立 Markdown 文档 2312.08935-math-shepherd-automatic-process-supervision.md，同步索引行和对应论文的关系章节。

Reusable Elements

HE / SE formula 可以复用于后续 automatic process supervision、OmegaPRM、process reward 和 verifier-guided RL 笔记。
Verification baseline 审计表可复用于 PRM / ORM / self-consistency / Best-of-N 对比。
PRM800K 对比中的分布匹配问题可作为 process supervision 论文的固定审计项。

Risks

Copyright/over-copying: 只保留公式、实验数值和机制摘要，避免长段复制论文原文。
Unsourced or unverifiable claims: Step-wise PPO 代码不可见，所有复现判断保留边界。
Tone/brand mismatch: 使用技术归纳和实验审计语气，避免把自动标注夸大为人工过程监督的全面替代。
Safety/compliance issues: 数学 reasoning verifier 无直接双用途操作细节；保留 reward bias 和 process supervision safety 边界。
Overlap with existing assets: 与 PRM800K 笔记重叠在 process supervision 概念，但 Math-Shepherd 的自动标注和 step-by-step PPO 足以单独存档。

Skipped

Material	Reason
公开 reviewer comments	未发现可可靠匹配的 ACL / ARR / OpenReview 公开 reviewer comments、rating 或 rebuttal。
内部 step-wise PPO 代码	Hugging Face model card 说明内部代码无法开源；只记录 released checkpoints 和论文超参。

Recommendation

Decision: merge

Why: Math-Shepherd 是 process supervision 从人工 PRM800K 走向自动标注 PRM 的关键节点，也是 DeepSeek / PKU reasoning verifier 到后续 DeepSeek-R1 作者网络的重要前史材料。它对本地档案中的 credit assignment、verifier-guided self-improvement、RLVR reasoning 和 process reward 主题都有直接复用价值。

Source #

作者与关系 #

阅读目标与判断边界 #

论文脉络 #

1. 研究问题、背景和价值 #

2. 已有解决方案与不足 #

3. 作者可能的思考路径 #

4. 核心假设或切入点 #

5. 方法 / 系统 / 理论框架 #

自动过程标注 #

Verification / reranking #

Step-by-step PPO #

6. 结论链条 #

关键实验/定理 #

结果 1：自动过程标注质量 #

结果 2：Verification / Best-of-N reranking #

结果 3：Step-by-step PPO #

结果 4：RL 后模型再配合 verifier #

结果 5：PRM800K 对比与 data efficiency #

结果 6：OOD Hungarian national final exam #

实验设置与 baseline 审计 #

证据链强度评估 #

强证据 #

中等强度证据 #

需要谨慎的推论 #

OpenReview / 审稿意见吸收 #

本地讨论补充 #

1. 讨论收敛点 #

2. 修正后的理解 #

3. 后续复验指标 #

主要启发 #

局限 #

跨论文关系 #

Reference Intake Brief #

Target #

Reusable Elements #

Risks #

Skipped #

Recommendation #