recurring author
Wenhao Huang
2 archived notes
Related Notes
按论文归档时间排序，展示该作者在本站已经出现的材料。
归档 更新
Scaling Latent Reasoning via Looped Language Models
Ouro 将同一 Transformer 层栈重复执行，并用熵正则化退出分布与冻结主模型后的专门门控训练分配 token 级计算深度；1.4B 和 2.6B 模型经过 7.7T token 训练后在 MATH500、OlympiadBench 等部分推理评测达到 4B 和 8B 对照的结果，但对照没有统一训练数据与总计算，固定四步之外的任务性能通常下降。
待审阅 2510.25741-scaling-latent-reasoning-looped-language-models Reasoning AnalysisScaling LawsTraining Stability
归档 更新
SMELT: Scaling Laws for Compute Matched MoE Looped Transformers
SMELT 在近似匹配每 token FLOPs、非嵌入参数量与 KV cache 的 MoE 对照中，将中间一半层重复执行两次并以缩窄隐藏维度和增加专家数补偿预算；四规模三稀疏度的独立缩放面拟合估计，在拟合覆盖的十的二十次方至十的二十一次方 FLOPs 区间达到相同验证损失可节省 6.8% 至 18.0% 训练计算，但报告使用专有数据与训练栈且未验证实际时延。